centos7:storm集群环境搭建

1.安装storm

下载storm安装包

在线下载

wget http://apache.fayea.com/storm/apache-storm-1.1.1/apache-storm-1.1.1.tar.gz

或者下载到本地,再上传服务器

解压到安装目录

tar -zxvf 安装包名

配置环境变量

vi /etc/profile

#storm环境变量

export STORM_HOME=/opt/deploy/apache-storm-1.1.1

export PATH=$PATH:$STORM_HOME/bin

2.编写配置文件

注意第一列需要有一个空格)

storm.yaml文件(注意:storm.yaml配置,凡是有冒号的地方,冒号后都要有个空格

vi storm.yaml

#zookeeper服务器ip

       storm.zookeeper.servers:

               - "ip"

               - "ip"

               - "ip"

       # nimbus

        nimbus.seeds: ["ip"]

       #zookeeper端口

       storm.zookeeper.port: 2181

       #storm少量数据存放地址

       storm.local.dir: "/opt/deploy/apache-storm-1.1.1/data"

       #storm访问的UI界面端口

       ui.port: 8080

       supervisor.slots.ports:

              - 6700

              - 6701

              - 6702

              - 6703

注意事项:

       1.servers和seeds写对应机器ip,名字有时候启动后会出现hostname不识别报错

       2.storm中写入的zk端口要和zk的启动端口一致(及时确认端口信息)

       3.storm.yaml配置文件集群上每台机器都一样,如果后期修改,确认三台机器修改后仍保持一致。

创建data文件夹 mkdir apache-storm-1.1.1/data

赋给文件夹读写的权限

sudo chmod -R 777 data

注释:

-R 是指级联应用到目录里的所有子目录和文件

777 是所有用户都拥有最高权限

将文件传入其他节点:

scp -r /opt/deploy/apache-storm-1.1.1 user@ip:/opt/deploy/

scp -r /opt/deploy/apache-storm-1.1.1 user@ip:/opt/deploy/

开启防火墙(每一台机器都需要开通)

需开放的端口:

8080、2181、6700、6701、6702、6703、6627(分配给主节点的端口)

firewall-cmd --add-port=9086/tcp --permanent

firewall-cmd --reload

      

3.启动

测试安装是否成功

3.1 master节点:Storm1

启动nimbus和ui服务及logviwer日志服务。

nohup /opt/deploy/apache-storm-1.1.1/bin/storm nimbus >/dev/null 2>&1 &

nohup /opt/deploy/apache-storm-1.1.1/bin/storm ui >/dev/null 2>&1 &

nohup /opt/deploy/apache-storm-1.1.1/bin/storm logviewer >/dev/null 2>&1 &

3.2 slave节点:Storm2、Storm3

启动supervisor服务。

nohup /opt/deploy/storm/apache-storm-1.1.1/bin/storm supervisor >/dev/null 2>&1 &

nohup /opt/deploy/apache-storm-1.1.1/bin/storm logviewer >/dev/null 2>&1 &

3.3 jps查看进程

master节点

       jps

       出现以下显示

       3828 Jps

       3485 nimbus

       3437 core

       63204 logviewer(如果不启动logviewer则没有此进程)

       slave节点

       jps

       出现以下显示

       1896 Jps

       1726 supervisor

       85894 LogWriter(如果不启动 logviewer 则没有此进程)

4、查看storm ui页面

访问storm1:8080查看storm ui页面:(ip:端口号)