FlinkStandalone集群安装。

1.Flink集群安装部署

Flink支持多种安装部署方式： - Standalone - ON YARN - Mesos、Kubernetes、AWS…

我们主要讲解Standalone和On Yarn。

2.Standalone

安装依赖环境如下： - jdk1.8及以上(已配置JAVA_HOME环境变量) - ssh免密码登录

在这我们使用master、slave2、slave2这三台机器，这几台机器的基础环境都是ok的，可以直接使用。 集群规划如下： master：master主机 slave：slave1主机、slave2主机

由于目前Flink各个版本之间差异比较大，属于快速迭代阶段，所以在这我们就使用最新版本了，使用link1.11.1版本。

flink的下载百度网盘地址如下：

链接：https://pan.baidu.com/s/1JQ8-9LRTnbWrXLX8i3TZnQ 提取码：1234

安装包下载好以后上传到master的/root/tools目录下。

下面开始安装Flink集群。

1).解压

[root@master tools]# tar -zxvf flink-1.11.1-bin-scala_2.12.tgz -C /usr/local
[root@master tools]# cd /usr/local
[root@master local]# mv flink-1.11.1 flink

2).配置flink环境变量

#配置Flink环境变量
export FLINK_HOME=/usr/local/flink
export PATH=$PATH:$FLINK_HOME/bin

3).修改$FLINK_HOME/conf/flink-conf.yaml

# JobManager runs.

jobmanager.rpc.address: master

4).修改$FLINK_HOME/conf/master

master:8081

5).修改$FLINK_HOME/conf/workers

slave1
slave2

6).将修改完配置的flink目录拷贝到其它两个从节点

[root@master local]# scp -rq flink slave1:/usr/local/
[root@master local]# scp -rq flink slave2:/usr/local/

7).启动Flink集群

在master主机上启动flink集群。

[root@master local]# cd $FLINK_HOME
[root@master local]# cd bin
[root@master bin]# ./start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host master.
Starting taskexecutor daemon on host slave1.
Starting taskexecutor daemon on host slave2.

8).jps查看进程

master主机进程。

[root@master bin]# jps
73245 Jps
73071 StandaloneSessionClusterEntrypoint

slave主机进程

[root@slave1 ~]# jps
72174 TaskManagerRunner
73470 Jps

9).访问Flink的web界面 http://master:8081

10).停止集群

[root@master bin]# cd $FLINK_HOME
[root@master flink]# cd bin
[root@master bin]# ./stop-cluster.sh
Stopping taskexecutor daemon (pid: 72174) on host slave1.
Stopping taskexecutor daemon (pid: 72096) on host slave2.
Stopping standalonesession daemon (pid: 73071) on host master.

3.Standalone集群核心参数

slot和parallelism区别如下：

1. slot是静态的概念，是指taskmanager具有的并发执行能力。
2. parallelism是动态的概念，是指程序运行时实际使用的并发能力。
3. 设置合适的parallelism能提高程序计算效率，太多了和太少了都不好。