系统综合实践 第4次实践作业 系统综合实践 第4次实践作业

（1）使用Docker-compose实现Tomcat+Nginx负载均衡

<1>理解nginx反向代理原理；

Http代理，反向代理：作为web服务器最常用的功能之一，尤其是反向代理。
Nginx的正向代理和反向代理
下面2张图，对正向代理与反响代理做个诠释：

Nginx在做反向代理时，提供性能稳定，并且能够提供配置灵活的转发功能。Nginx可以根据不同的正则匹配，采取不同的转发策略，比如图片文件结尾的走文件服务器，动态页面走web服务器，只要你正则写的没问题，又有相对应的服务器解决方案，你就可以随心所欲的玩。并且Nginx对返回结果进行错误页跳转，异常判断等。如果被分发的服务器存在异常，他可以将请求重新转发给另外一台服务器，然后自动去除异常服务器。

<2>nginx代理tomcat集群，代理2个以上tomcat；

• 创建文件和文件夹，树结构目录如下

• tomcat1的html

<P>This is Tomcat1!</P>

• tomcat2的html

<P>This is Tomcat2!</P>

• tomcat3的html

<P>This is Tomcat3!</P>

• default.conf

upstream tomcats {
    server tomcat1:8080; # 主机名:端口号
    server tomcat2:8080; # tomcat默认端口号8080
    server tomcat3:8080; # 默认使用轮询策略
}

server {
    listen 80;
    server_name localhost;

    location / {
        proxy_pass http://tomcats; # 请求转向tomcats
    }
}

• docker-compose.yml

version: "3"
services:
    nginx:
        image: nginx
        container_name: nginx_tomcat
        ports:
            - "80:80"
        volumes:
            - ./nginx/default.conf:/etc/nginx/conf.d/default.conf # 将主机上的tomcat_nginx/nginx/default.conf目录挂在到容器的/etc/nginx/conf.d/default.conf目录
        depends_on:
            - tomcat1
            - tomcat2
            - tomcat3

    tomcat1:
        image: tomcat
        container_name: tomcat1
        volumes:
            - ./tomcat1:/usr/local/tomcat/webapps/ROOT # 挂载web目录

    tomcat2:
        image: tomcat
        container_name: tomcat2
        volumes:
            - ./tomcat2:/usr/local/tomcat/webapps/ROOT

    tomcat3:
        image: tomcat
        container_name: tomcat3
        volumes:
            - ./tomcat3:/usr/local/tomcat/webapps/ROOT

• 运行命令

sudo docker-compose up -d --build

出现了问题1，问题详情和解决方法在后面。

• 运行成功

• 打开网页，访问localhost

<3>了解nginx的负载均衡策略，并至少实现nginx的2种负载均衡策略；

• 轮询策略

编写爬虫test.py

import requests

url="http://127.0.0.1"

for i in range(0,10):
	reponse=requests.get(url)
	print(reponse.text)

• 权重策略
  修改default.conf文件

upstream tomcats {
    server tomcat1:8080 weight=3; # 主机名:端口号
    server tomcat2:8080 weight=2; # tomcat默认端口号8080
    server tomcat3:8080 weight=1; # 使用权重策略
}

server {
    listen 80;
    server_name localhost;

    location / {
        proxy_pass http://tomcats; # 请求转向tomcats
    }
}

编写爬虫test2.py

import requests

url="http://127.0.0.1"
count={}
for i in range(0,3000):
    response=requests.get(url)
    if response.text in count:
        count[response.text]+=1;
    else:
        count[response.text]=1
for a in count:
    print(a, count[a])

<4>参考资料：

Nginx 配置详解
Nginx服务器之负载均衡策略

(2) 使用Docker-compose部署javaweb运行环境

要求：

• 分别构建tomcat、数据库等镜像服务；
• 成功部署Javaweb程序，包含简单的数据库操作；
• 为上述环境添加nginx反向代理服务，实现负载均衡。

<1>项目结构

在项目一的基础上增加javaweb项目和mysql

├── docker-compose.yml
├── default.conf
├── docker-entrypoint.sh
├── grogshop.sql
├── Dockerfile
└── webapps
    ├── docs
    ├── examples
    ├── host-manager
    ├── manager
    ├── ROOT
    ├── ssmgrogshop_war
    └── ssmgrogshop_war.war

• docker-compose.yml

version: "3"   #版本
services:     #服务节点
  tomcat00:     #tomcat 服务
    image: tomcat    #镜像
    hostname: hostname       #容器的主机名
    container_name: tomcat00   #容器名
    ports:      #端口
     - "5050:8080"
    volumes:  #数据卷
     - "./webapps:/usr/local/tomcat/webapps"
     - ./wait-for-it.sh:/wait-for-it.sh
    networks:   #网络设置静态IP
      webnet:
        ipv4_address: 15.22.0.15
  tomcat01:     #tomcat 服务
    image: tomcat    #镜像
    hostname: hostname       #容器的主机名
    container_name: tomcat01   #容器名
    ports:      #端口
     - "5055:8080"
    volumes:  #数据卷
     - "./webapps:/usr/local/tomcat/webapps"
     - ./wait-for-it.sh:/wait-for-it.sh
    networks:   #网络设置静态IP
      webnet:
        ipv4_address: 15.22.0.16
  mymysql:  #mymysql服务
    build: .   #通过MySQL的Dockerfile文件构建MySQL
    image: mymysql:test
    container_name: mymysql
    ports:
      - "3309:3306" 
# 红色的外部访问端口不修改的情况下，要把Linux的MySQL服务停掉
# service mysql stop
# 反之，将3306换成其它的
    command: [
            '--character-set-server=utf8mb4',
            '--collation-server=utf8mb4_unicode_ci'
    ]
    environment:
      MYSQL_ROOT_PASSWORD: "123456"
    networks:
      webnet:
        ipv4_address: 15.22.0.6
  nginx:
      image: nginx
      container_name: "nginx-tomcat"
      ports:
          - 8080:8080
      volumes:
          - ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
      tty: true
      stdin_open: true
      depends_on:
          - tomcat00
          - tomcat01
      networks:
       webnet:
        ipv4_address: 15.22.0.7
networks:   #网络设置
 webnet:
   driver: bridge  #网桥模式
   ipam:
     config:
      - 
       subnet: 15.22.0.0/24   #子网

• docker-entrypoint.sh

# !/bin/bash
mysql -uroot -p123456 << EOF    #  << EOF 必须要有
source /usr/local/grogshop.sql;

• Dockerfile

#  这个是构建MySQL的dockerfile
FROM registry.saas.hand-china.com/tools/mysql:5.7.17
# mysql的工作位置
ENV WORK_PATH /usr/local/
# 定义会被容器自动执行的目录
ENV AUTO_RUN_DIR /docker-entrypoint-initdb.d
#复制gropshop.sql到/usr/local 
COPY grogshop.sql  /usr/local/
#把要执行的shell文件放到/docker-entrypoint-initdb.d/目录下，容器会自动执行这个shell
COPY docker-entrypoint.sh  $AUTO_RUN_DIR/
#给执行文件增加可执行权限
RUN chmod a+x $AUTO_RUN_DIR/docker-entrypoint.sh
# 设置容器启动时执行的命令
#CMD ["sh", "/docker-entrypoint-initdb.d/import.sh"]

• default.conf

upstream tomcat123 {
    server tomcat00:8080;
    server tomcat01:8080;
}

server {
    listen 8080;
    server_name localhost;

    location / {
        proxy_pass http://tomcat123;
    }
}

<2>修改连接数据库的IP

vim ~/javaweb1/webapps/ssmgrogshop_war/WEB-INF/classes/jdbc.properties
# 注意端口号也要改成对应的，否则不能访问数据库

<3>启动容器

docker-compose up -d

<4>浏览器访问前端页面

http://主机ip地址:8080/ssmgrogshop_war

<5>在前端页面进行数据库操作

参考资料

使用docker-compose部署Javaweb项目
tomcat+nginx-mysql

（3）使用Docker搭建大数据集群环境

直接用机器搭建Hadoop集群，会因为不同机器配置等的差异，遇到各种各样的问题；也可以尝试用多个虚拟机搭建，但是这样对计算机的性能要求比较高，通常无法负载足够的节点数；使用Docker搭建Hadoop集群，将Hadoop集群运行在Docker容器中，使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群。

<1>pull ubuntu镜像

• 拉取镜像并在创建一个目录build，用于向Docker内部的Ubuntu系统传输文件,创建并运行容器.

docker pull ubuntu
cd ~
mkdir build
sudo docker run -it -v /home/ubuntu/build:/root/build --name ubuntu ubuntu

<2>Ubuntu容器的初始化

• 进入容器中先换源，这里选用阿里源

cat<<EOF>/etc/apt/sources.list      
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
EOF

• ubuntu环境的初始化

apt-get update
# 安装vim软件
apt-get install vim     
# 安装sshd，因为在开启分布式Hadoop时，需要用到ssh连接slave: 
apt-get install ssh 
# 运行脚本即可开启sshd服务器    
/etc/init.d/ssh start     
vim ~/.bashrc             
# 在该文件中最后一行添加如下内容，实现进入Ubuntu系统时，都能自动启动sshd服务
/etc/init.d/ssh start 

• 配置ssh

ssh-keygen -t rsa # 一直按回车即可
cd ~/.ssh
cat id_rsa.pub >> authorized_keys 

• 安装SDK,使用JDK8版本

apt-get install openjdk-8-jdk
vim ~/.bashrc       # 在文件末尾添加以下两行，配置Java环境变量：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc # 使.bashrc生效

• docker commit从容器去创建一个镜像

#打开另一个终端
sudo docker commit 容器id ubuntu-jdk8      
#开启保存的那份镜像ubuntu-jdk8
sudo docker run -it -v /home/ubuntu/build:/root/build --name ubuntu-jdk8 ubuntu-jdk8

<4>安装Hadoop

cd /root/build
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local #将hadoop压缩包放入本地build文件夹中，这里使用大数据实验中的3.1.3版本
cd /usr/local/hadoop-3.1.3
./bin/hadoop version # 验证安装

<5>配置Hadoop集群

• hadoop-env.sh

cd /usr/local/hadoop-3.1.3/etc/hadoop #进入配置文件存放目录
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ # 在任意位置添加

• core-site.xml

vim core-site.xml

<configuration>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>file:/usr/local/hadoop-3.1.3/tmp</value>
          <description>A base for other temporary directories.</description>
      </property>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
      </property>
</configuration>

• hdfs-site.xml

vim hdfs-site.xml

<configuration>
        <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.namenode.data.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/data</value>
    </property>
</configuration>

• mapred-site.xml

vim mapred-site.xml

<configuration>
	<property>
		<!--使用yarn运行MapReduce程序-->
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<!--jobhistory地址host:port-->
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
	</property>
	<property>
		<!--jobhistory的web地址host:port-->
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>
	<property>
		<!--指定MR应用程序的类路径-->
		<name>mapreduce.application.classpath</name>
		<value>/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/lib/*,/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/*</value>
	</property>
</configuration>

• yarn-site.xml

vim yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.5</value>
	</property>
</configuration>

• 修改脚本

对于start-dfs.sh和stop-dfs.sh文件，添加下列参数：

cd /usr/local/hadoop-3.1.3/sbin
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

对于start-yarn.sh和stop-yarn.sh，添加下列参数：

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

<6>运行Hadoop集群

• 保存镜像

sudo docker commit <容器id> ubuntu/hadoopinstalled

• 从三个终端分别开启三个容器运行ubuntu/hadoopinstalled镜像，分别表示Hadoop集群中的master,slave01和slave02；

• 第一个终端

sudo docker run -it -h master --name master ubuntu/hadoopinstalled

• 第二个终端

sudo docker run -it -h slave01 --name slave01 ubuntu/hadoopinstalled

• 第三个终端

sudo docker run -it -h slave02 --name slave02 ubuntu/hadoopinstalled

• 三个终端分别打开/etc/hosts,根据各自ip修改为如下形式

vim /etc/hosts
172.17.0.3	master
172.17.0.4      slave01
172.17.0.5      slave02

<7>测试ssh

在master结点测试ssh；连接到slave结点

ssh slave01
ssh slave02
exit # 退出

修改master上workers文件；将localhost修改为如下所示

vim /usr/local/hadoop-3.1.3/etc/hadoop/workers
slave01
slave02

<8>测试Hadoop集群

• 在master终端上执行

cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format      #首次启动Hadoop需要格式化
sbin/start-all.sh              #启动所有服务

• 使用jps查看三个终端，如图所示

• 建立HDFS文件夹

bin/hdfs dfs -mkdir /user 
bin/hdfs dfs -mkdir /user/root      #注意input文件夹是在root目录下
bin/hdfs dfs -mkdir input

• 在master终端上vim一个测试样例,并将其上传到input文件夹;注意test文件的路径

bin/hdfs dfs -put ~/test.txt input

<9> 运行hadoop 自带的测试实例。

• 准备测试样例的输入文件

bin/hdfs dfs -mkdir -p /user/hadoop/input
bin/hdfs dfs -put ./etc/hadoop/*.xml /user/hadoop/input
bin/hdfs dfs -ls /user/hadoop/input //可以看到九个文件

• 测试样例并输出结果

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep /user/hadoop/input output 'dfs[a-z.]+'    //运行的时候很慢，需要等待
bin/hdfs dfs -cat output/*       //输出结果

参考资料

Hadoop 参考文档(http://hadoop.apache.org/docs/r1.0.4/cn/index.html)
使用Docker搭建Hadoop分布式集群(http://dblab.xmu.edu.cn/blog/1233/)

(4)遇到的问题及解决方法

问题1：在实验（1）中运行命令sudo docker-compose up -d --build时

nginx_tomcat构建失败

原因：进过一番查找是因为前一次的docker-compose没有关掉，要使用

sudo docker-compose down

再执行

sudo docker-compose up -d --build

问题2：在实验（3）中三个终端ip配置错误，导致多次返工

• 认为可以修改三个终端的IP地址
  错误写成

cat /etc/hosts
172.17.0.3	master
172.17.0.4      slave01
172.17.0.5      slave02

其实应该根据实际情况

cat /etc/hosts
172.17.0.4	master
172.17.0.5      slave01
172.17.0.6      slave02

• 认为ip配置只要修改master
  其实应该把

cat /etc/hosts
172.17.0.4	master
172.17.0.5      slave01
172.17.0.6      slave02

master，slave01，slave02都要同时修改
这种不必要的错误导致花费了大量的时间重做

问题3：hadoop版本问题

前几次做的时候用的都是hadoop 3.2.1的压缩包
结果重做了好几次都是

查看了hadoop的log，发现一堆错误
后面参考了别的同学的博客，换成了hadoop 3.1.3
居然可以了，玄学问题

问题4：挂在目录不正确，导致多次挂载后要解压hadoop安装包错误

没有区分 /home和~的区别（坐久了头晕眼花_(¦3」∠)_）
/目录 、/home目录 、~目录的区别

（5）总结

做实验：15小时
写博客：3小时
总计：18小时
这次实验内容还是很多的，任务量大，没接触的东西也比较多，比如javaweb，hadoop，前期花了比较多的时间学习相关的理论知识，后期实践的时间比较紧迫，虽然参考了同学的博客和老师给的资料，但还是磕磕碰碰花费了很多时间。多次返工导致心态差点崩了，吃一堑长一智，我觉得对不熟悉的东西应该还是要学习理论知识的同时还应该练习多实践才能快速上手。