站長(zhǎng)資訊網(wǎng)一、主機(jī)規(guī)劃
3臺(tái)主機(jī)：1個(gè)master、2個(gè)slaver/worker
ip地址使用docker默認(rèn)的分配地址：
master：
主機(jī)名： Hadoop2、ip地址： 172.17.0.2
slaver1：
主機(jī)名： hadoop3、ip地址： 172.17.0.3
主機(jī)名： hadoop4、ip地址： 172.17.0.4
二、軟件安裝
1、在docker中安裝CentOS鏡像，并啟動(dòng)centos容器，安裝ssh。–詳見”docker上安裝centos鏡像”一文。
2、通過(guò)ssh連接到centos容器，安裝jdk1.8、hadoop3.0
可以按照傳統(tǒng)linux安裝軟件的方法，通過(guò)將jdk和hadoop的tar包上傳到主機(jī)進(jìn)行安裝。
獲取centos7鏡像
$ docker pull centos
大概是70多M，使用阿里云等Docker加速器的話很快就能下載完，之后在鏡像列表中就可以看到
查看鏡像列表的命令：
$ docker images
安裝SSH
以centos7鏡像為基礎(chǔ)，構(gòu)建一個(gè)帶有SSH功能的centos
$ vi Dockerfile
內(nèi)容：
FROM centos
MAINTAINER linuxidc@linuxidc.com
RUN yum install -y openssh-server sudo
RUN sed -i ‘s/UsePAM yes/UsePAM no/g’ /etc/ssh/sshd_config
RUN yum install -y openssh-clients
RUN echo “root:abc123” | chpasswd
RUN echo “root ALL=(ALL) ALL” >> /etc/sudoers
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key
RUN mkdir /var/run/sshd
EXPOSE 22
CMD [“/usr/sbin/sshd”, “-D”]
這段內(nèi)容的大意是：以 centos 鏡像為基礎(chǔ)，安裝SSH的相關(guān)包，設(shè)置了root用戶的密碼為 abc123，并啟動(dòng)SSH服務(wù)
執(zhí)行構(gòu)建鏡像的命令，新鏡像命名為 centos7-ssh
$ docker build -t=”centos7-ssh” .
執(zhí)行完成后，可以在鏡像列表中看到
$ docker images
構(gòu)建Hadoop鏡像
上面是運(yùn)行了3個(gè)centos容器，需要在每個(gè)容器中單獨(dú)安裝Hadoop環(huán)境，我們可以像構(gòu)建SSH鏡像一樣，構(gòu)建一個(gè)Hadoop鏡像，然后運(yùn)行3個(gè)Hadoop容器，這樣就更簡(jiǎn)單了
$ vi Dockerfile
內(nèi)容：
FROM centos7-ssh
ADD jdk-8u151-linux-x64.tar.gz /usr/local/
RUN mv /usr/local/jdk1.8.0_151 /usr/local/jdk1.8
ENV JAVA_HOME /usr/local/jdk1.8
ENV PATH $JAVA_HOME/bin:$PATH
ADD hadoop-3.1.0.tar.gz /usr/local
RUN mv /usr/local/hadoop-3.1.0 /usr/local/hadoop
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH
RUN yum install -y which sudo
這里是基于 centos7-ssh 這個(gè)鏡像，把 JAVA 和 Hadoop 的環(huán)境都配置好了
前提：在Dockerfile所在目錄下準(zhǔn)備好 jdk-8u101-linux-x64.tar.gz 與 hadoop-2.7.3.tar.gz
執(zhí)行構(gòu)建命令，新鏡像命名為 hadoop
$ docker build -t=”hadoop” .
在/etc/hosts文件中添加3臺(tái)主機(jī)的主機(jī)名和ip地址對(duì)應(yīng)信息
172.17.0.2 hadoop2
172.17.0.3 hadoop3
172.17.0.4 hadoop4
在docker中直接修改/etc/hosts文件，在重啟容器后會(huì)被重置、覆蓋。因此需要通過(guò)容器啟動(dòng)腳本docker run的–add-host參數(shù)將主機(jī)和ip地址的對(duì)應(yīng)關(guān)系傳入，容器在啟動(dòng)后會(huì)寫入hosts文件中。如：
docker run –name hadoop2–add-host hadoop2:172.17.0.2 –add-host hadoop3:172.17.0.3 –add-host hadoop4:172.17.0.4 hadoop
docker exec -it hadoop2 bash
$ ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
hadoop部署
1.在workers文件中定義工作節(jié)點(diǎn)
在hadoop根目錄下的etc/hadoop目錄下新建workers文件，并添加工作節(jié)點(diǎn)主機(jī)信息。
按照步驟一中的主機(jī)規(guī)劃，工作節(jié)點(diǎn)主機(jī)為hadoop3和hadoop4兩臺(tái)主機(jī)。如：
[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/workers
hadoop3
hadoop4
2、修改配置文件信息
a、在hadoop-env.sh中，添加JAVA_HOME信息
[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/hadoop-env.sh |grep JAVA_HOME
# JAVA_HOME=/usr/java/testing hdfs dfs -ls
# Technically, the only required environment variable is JAVA_HOME.
# export JAVA_HOME=
JAVA_HOME=/usr/local/jdk1.8
b、core-site.xml
configuration><property>
<name>fs.default.name</name>
<value>hdfs://hadoop2:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>
c、hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop2:9001</value>
<description># 通過(guò)web界面來(lái)查看HDFS狀態(tài) </description>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
<description># 每個(gè)Block有2個(gè)備份</description>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
d、yarn-site.xml
<configuration>
<!– Site specific YARN configuration properties –>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop2:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop2:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop2:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop2:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop2:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
</configuration>
e、mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop2:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop2:19888</value>
</property>
</configuration>
f、為防止進(jìn)坑提前做好準(zhǔn)備
vi start-dfs.sh vi stop-dfs.sh
HDFS_DATANODE_USER=root
#HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
vi start-yarn.sh vi stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
注意：
以上步驟完成以后停止當(dāng)前容器，并使用docker命令保持到一個(gè)新的鏡像。使用新的鏡像重新啟動(dòng)集群，這樣集群每臺(tái)機(jī)器都有相同的賬戶、配置和軟件，無(wú)需再重新配置。如：
a、停止容器
docker stop hadoop2
b、保存鏡像
docker commit hadoop2 hadoop_me:v1.0
測(cè)試
1、端口映射
集群?jiǎn)?dòng)后，需要通過(guò)web界面觀察集群的運(yùn)行情況，因此需要將容器的端口映射到宿主主機(jī)的端口上，可以通過(guò)docker run命令的-p選項(xiàng)完成。比如：
將yarn任務(wù)調(diào)度端口映射到宿主主機(jī)8088端口上：
docker run -it -p 8088:8088 hadoop_me:v1.0
2、從新鏡像啟動(dòng)3個(gè)容器
docker run –name hadoop2 –add-host hadoop2:172.17.0.2 –add-host hadoop3:172.17.0.3 –add-host hadoop4:172.17.0.4 -d -p 5002:22 -p 9870:9870 -p 8088:8088 -p 19888:19888
hadoop_me:v1.0
docker run –name hadoop3 –add-host hadoop2:172.17.0.2 –add-host hadoop3:172.17.0.3 –add-host hadoop4:172.17.0.4 -d -p 5003:22 hadoop_me:v1.0
docker run –name hadoop4 –add-host hadoop2:172.17.0.2 –add-host hadoop3:172.17.0.3 –add-host hadoop4:172.17.0.4 -d -p 5004:22 hadoop_me:v1.0
3.格式化
進(jìn)入到/usr/local/hadoop目錄下
執(zhí)行格式化命令
bin/hdfs namenode -format
修改hadoop2中hadoop的一個(gè)配置文件etc/hadoop/slaves
刪除原來(lái)的所有內(nèi)容，修改為如下
hadoop3
hadoop4
在hadoop2中執(zhí)行命令
scp -rq /usr/local/hadoop hadoop3:/usr/local
scp -rq /usr/local/hadoop hadoop4:/usr/local
4.在master主機(jī)上執(zhí)行start-all.sh腳本啟動(dòng)集群
5.通過(guò)web頁(yè)面訪問(wèn)
Hadoop2.3-HA高可用集群環(huán)境搭建 http://www.sfodin.cn/Linux/2017-03/142155.htm
Hadoop項(xiàng)目之基于CentOS7的Cloudera 5.10.1（CDH）的安裝部署 http://www.sfodin.cn/Linux/2017-04/143095.htm
CentOS 7.4下Hadoop 2.7.6安裝部署 http://www.sfodin.cn/Linux/2018-08/153353.htm
Hadoop2.7.2集群搭建詳解（高可用） http://www.sfodin.cn/Linux/2017-03/142052.htm
使用Ambari來(lái)部署Hadoop集群（搭建內(nèi)網(wǎng)HDP源） http://www.sfodin.cn/Linux/2017-03/142136.htm
Ubuntu 14.04下Hadoop集群安裝 http://www.sfodin.cn/Linux/2017-02/140783.htm
CentOS 6.7安裝Hadoop 2.7.2 http://www.sfodin.cn/Linux/2017-08/146232.htm
Ubuntu 16.04上構(gòu)建分布式Hadoop-2.7.3集群 http://www.sfodin.cn/Linux/2017-07/145503.htm
CentOS 7 下 Hadoop 2.6.4 分布式集群環(huán)境搭建 http://www.sfodin.cn/Linux/2017-06/144932.htm
Hadoop2.7.3+Spark2.1.0完全分布式集群搭建過(guò)程 http://www.sfodin.cn/Linux/2017-06/144926.htm
CentOS 7.4下編譯安裝Hadoop 2.7.6 及所需文件 http://www.sfodin.cn/Linux/2018-06/152786.htm
Ubuntu 16.04.3 下安裝配置 Hadoop http://www.sfodin.cn/Linux/2018-04/151993.htm
