系统综合实践第四次作业 打开一个新的终端 在master上操作
(1）使用Docker-compose实现Tomcat+Nginx负载均衡
1.理解nginx反向代理原理；
反向代理的工作原理是，代理服务器来接受客户端的网络访问连接请求，然后服务器将请求有策略的转发给网络中实际工作的业务服务器，并将从业务服务器处理的结果，返回给网络上发起连接请求的客户端。
2.nginx代理tomcat集群，代理2个以上tomcat；
在目录下创建如下文件
docker-compose.yml
default.conf
运行docker-compose
docker-compose up -d
3.了解nginx的负载均衡策略，并至少实现nginx的2种负载均衡策略
- 负载均衡策略1：轮询策略
使用简单的爬虫查看
import requests
url="http://127.0.0.1"
for i in range(0,10):
reponse=requests.get(url)
print(reponse.text)
- 负载均衡策略2：权重策略
default.conf
upstream tomcats {
server zhtomcat1:8080 weight=1; # 主机名:端口号
server zhtomcat2:8080 weight=2; # tomcat默认端口号8080
server zhtomcat3:8080 weight=3; # 使用权重策略
}
server {
listen 80;
server_name localhost;
location / {
proxy_pass http://tomcats; # 请求转向tomcats
}
}
使用刚才的爬虫查看
再编一个爬虫查看
import requests
url="http://127.0.0.1"
count={}
for i in range(0,2000):
response=requests.get(url)
if response.text in count:
count[response.text]+=1;
else:
count[response.text]=1
for a in count:
print(a, count[a])
(2) 使用Docker-compose部署javaweb运行环境
1.建立文件结构
2.修改IP地址
cd /home/zhanghui/lzz/webapps/ssmgrogshop_war/WEB-INF/classes
vim jdbc.properties
修改成自己的ip
回到 lzz目录
cd /home/lzz
启动
docker-compose up -d #一键创建并启动容器服务（只需执行它即可）
浏览器访问前端页面
（3）使用Docker搭建大数据集群环境
先pull Ubuntu镜像
docker pull ubuntu
创建build文件 运行容器
sudo docker run -it -v /home/zhanghui/build:/root/build --name ubuntu ubuntu
进入容器换源
cat<<EOF>/etc/apt/sources.list
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
EOF
更新系统源和安装一些必要的软件
apt-get update
apt-get install vim
apt-get install ssh
/etc/init.d/ssh start
但是这样的话，就需要每次在开启镜像时，都需要手动开启sshd服务，因此我们把这启动命令写进~/.bashrc文件，这样我们每次登录Ubuntu系统时，都能自动启动sshd服务;
vim ~/.bashrc
在该文件中最后一行添加如下内容：
- /etc/init.d/ssh start
配置ssh
cd ~/.ssh
ssh-keygen -t rsa # 密码设置为123456，然后一直按回车即可
安装JDK
因为Hadoop有用到Java，因此还需要安装JDK；直接输入以下命令来安装JDK
apt-get install default-jdk
vim ~/.bashrc # 在文件末尾添加以下两行，配置Java环境变量：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc
java -version #查看是否安装成功
保存镜像文件
我们在Docker内部的容器做的修改是不会自动保存到镜像的，也就是说，我们把容器关闭，然后重新开启容器，则之前的设置会全部消失，因此我们需要保存当前的配置；为了达到复用配置信息，我们在每个步骤完成之后，都保存成一个新的镜像，然后开启保存的新镜像即可；首先我们要到这个网址注册一个账号https://hub.docker.com/；账号注册成功后，然后在终端输入以下信息：
docker login
登录之后，即可输入以下命令保存修改后的容器为一个新的镜像；docker ps
然后保存当前镜像为ubuntu/jdkinstalled，表示jdk安装成功的ubuntu版本，命令如下:docker commit 容器 ubuntu/jdkinstalled
安装Hadoopdocker run -it -v /home/hadoop/build:/root/build --name ubuntu-jdkinstalled ubuntu/jdkinstalled
下载完成后，用cp命令将文件复制入共享文件夹/home/zhanghui/build
sudo cp /home/zhanghui/Desktop/hadoop-3.1.3.tar.gz /home/zhanghui/build
#再打开的容器里运行
cd /root/build
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local
cd /usr/local/hadoop-3.1.3
./bin/hadoop version # 验证安装
配置Hadoop集群
cd /usr/local/hadoop-3.1.3/etc/hadoop #进入配置文件存放目录
hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ # 在任意位置添加
core-site.xml
vim core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
hdfs-site.xml
vim hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-3.1.3/namenode_dir</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-3.1.3/datanode_dir</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
mapred-site.xml
vim mapred-site.xml
<configuration>
<property>
<!--使用yarn运行MapReduce程序-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<!--jobhistory地址host:port-->
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<!--jobhistory的web地址host:port-->
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
<property>
<!--指定MR应用程序的类路径-->
<name>mapreduce.application.classpath</name>
<value>/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/lib/*,/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/*</value>
</property>
</configuration>
yarn-site.xml
vim yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.5</value>
</property>
</configuration>
进入脚本文件存放目录：
cd /usr/local/hadoop-3.1.3/sbin
使用vim修改脚本文件
对于start-dfs.sh和stop-dfs.sh文件，添加下列参数(可以放在function{}之后）：
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
对于start-yarn.sh和stop-yarn.sh，添加下列参数(可以放在function{}之后）：
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
保存镜像
docker commit 容器id ubuntu/hadoopinstalled
从三个终端分别开启三个容器运行ubuntu/hadoopinstalled镜像，分别表示Hadoop集群中的master,slave01和slave02；
# 第一个终端
sudo docker run -it -h master --name master ubuntu/hadoopinstalled
# 第二个终端
sudo docker run -it -h slave01 --name slave01 ubuntu/hadoopinstalled
# 第三个终端
sudo docker run -it -h slave02 --name slave02 ubuntu/hadoopinstalled
三个终端分别打开/etc/hosts,根据各自ip修改为如下形式
vim /etc/hosts
172.17.0.4 master
172.17.0.5 slave01
172.17.0.6 slave02
在master结点测试ssh；连接到slave结点
ssh slave01
ssh slave02
exit #退出
修改master上workers文件；修改localhost
vim /usr/local/hadoop-3.1.3/etc/hadoop/workers
slave01
slave02
测试Hadoop集群
在master上操作
cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format #首次启动Hadoop需要格式化
sbin/start-all.sh #启动所有服务
jps #分别查看三个终端
运行Hadoop实例程序
/bin/hdfs dfs -mkdir -p /user/hadoop/input
bin/hdfs dfs -put ./etc/hadoop/*.xml /user/hadoop/input
bin/hdfs dfs -ls /user/hadoop/input
执行实例程序:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep /user/hadoop/input output 'dfs[a-z.]+'
查看到运行结果:.
/bin/hdfs dfs -cat output/*
总结
这次实验有点难，第二部分不知道为什么那个酒店管理系统登不上去，没有做完。花了差不多一天的时间。