站長資訊網(wǎng)本文詳細(xì)介紹搭建4個(gè)節(jié)點(diǎn)的完全分布式Hadoop集群的方法，Linux系統(tǒng)版本是CentOS 7，Hadoop版本是2.7.7，JDK版本是1.8。
一、準(zhǔn)備環(huán)境
1. 在VMware workstations上創(chuàng)建4個(gè)Linux虛擬機(jī)，并配置其靜態(tài)IP。
如何在VMware workstation上創(chuàng)建Linux虛擬機(jī)
準(zhǔn)備使用Linux虛擬機(jī)部署Hadoop集群，故在win10系統(tǒng)上安裝了VMware workstation，具體安裝非常簡單，在此不做闡述。本文主要介紹如何在VMware workstation上創(chuàng)建Linux虛擬機(jī)。
步驟：
1. 如下圖，在VMware workstation中，點(diǎn)擊【創(chuàng)建新的虛擬機(jī)】。
2. Linux虛擬機(jī)的具體配置如下：
有關(guān)【克隆Linux虛擬機(jī)及配置網(wǎng)絡(luò)】，請參考這里。
2. 配置DNS（每個(gè)節(jié)點(diǎn)）
編輯配置文件，添加主節(jié)點(diǎn)和從節(jié)點(diǎn)的映射關(guān)系。
#vim /etc/hosts
192.168.44.3 hadoop01
192.168.44.4 hadoop02
192.168.44.5 hadoop03
192.168.44.6 hadoop04
3. 關(guān)閉防火墻（每個(gè)節(jié)點(diǎn)）
#關(guān)閉服務(wù)
[root@hadoop01 opt]# systemctl stop firewalld
#關(guān)閉開機(jī)自啟動(dòng)
[root@hadoop01 opt]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.Fedoraproject.FirewallD1.service.
4. 配置免密碼登錄
有關(guān)【配置免密碼登錄方法】，請參考這里 http://www.sfodin.cn/Linux/2019-02/156882.htm。
5. 配置Java環(huán)境（每個(gè)節(jié)點(diǎn)）
本文詳細(xì)介紹Linux系統(tǒng)下配置Java環(huán)境的方法，使用JDK1.8版本。
1. 從Oracle官網(wǎng)上下載Java8版本。
下載鏈接：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2. 上傳Java包到Linux系統(tǒng)。
使用rz命令將Java tar包上傳到Linux系統(tǒng)。（有關(guān)rz命令用法，請參考這里）
3. 解壓Java安裝包
[root@hadoop01 opt]# ls
jdk-8u101-linux-x64.tar.gz
[root@hadoop01 opt]# tar -zxvf jdk-8u101-linux-x64.tar.gz
…
jdk1.8.0_101/man/ja_JP.UTF-8/man1/javapackager.1
jdk1.8.0_101/man/ja_JP.UTF-8/man1/jstat.1
[root@hadoop01 opt]# ls
jdk1.8.0_101 jdk-8u101-linux-x64.tar.gz
4. 配置Java環(huán)境變量
#vim /etc/profile
# Java
export JAVA_HOME=/opt/jdk1.8.0_101 # 該路徑為java安裝路徑
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
# :wq保存后，使配置文件生效
#source /etc/profile
5. 驗(yàn)證Java安裝狀態(tài)
[root@hadoop01 jdk1.8.0_101]# java -version
java version “1.8.0_101”
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)
二、搭建Hadoop完全分布式集群
在各個(gè)節(jié)點(diǎn)上安裝與配置Hadoop的過程都基本相同，因此可以在每個(gè)節(jié)點(diǎn)上安裝好Hadoop后，在主節(jié)點(diǎn)master上進(jìn)行統(tǒng)一配置，然后通過scp 命令將修改的配置文件拷貝到各個(gè)從節(jié)點(diǎn)上即可。
1. 下載Hadoop安裝包，解壓，配置Hadoop環(huán)境變量
有關(guān)【Hadoop安裝包下載方法】。
Hadoop3.0版本的誕生，引入了很多新功能，為了驗(yàn)證Hadoop2.0與3.0版本的性能，需下載Hadoop的不同版本。故下文演示如何下載Hadoop安裝包的方法。
1. 進(jìn)入Apache Hadoop官網(wǎng)：http://hadoop.apache.org/
2. 點(diǎn)擊左側(cè)【Download】按鈕，進(jìn)入如下下載頁面：
可點(diǎn)擊當(dāng)前界面上顯示的Binary安裝包進(jìn)入下載，亦可點(diǎn)擊【mirror site】進(jìn)入鏡像頁面，選擇要安裝的版本進(jìn)行下載。
本文下載的Hadoop版本是2.7.7，指定一個(gè)目錄（比如：/opt），使用rz命令上傳Hadoop安裝包到Linux系統(tǒng)，解壓到指定目錄，配置Hadoop環(huán)境變量，并使其生效。實(shí)現(xiàn)命令如下：
#配置Hadoop環(huán)境變量
[root@hadoop02 opt]# vim /etc/profile
#Hadoop
export HADOOP_HOME=/opt/hadoop-2.7.7 # 該目錄為解壓安裝目錄
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
#保存后，使profile生效
[root@hadoop02 opt]# source /etc/profile
2. 配置Hadoop環(huán)境腳本文件中的JAVA_HOME參數(shù)
#進(jìn)入Had安裝目錄下的etc/hadoop目錄
[root@hadoop01 ~]#cd /opt/hadoop-2.7.7/etc/hadoop
#分別在hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中添加或修改如下參數(shù)：
[root@hadoop01 hadoop]# vim hadoop-env.sh
[root@hadoop01 hadoop]# vim mapred-env.sh
[root@hadoop01 hadoop]# vim yarn-env.sh
export JAVA_HOME=”/opt/jdk1.8.0_101″ # 路徑為jdk安裝路徑
3. 修改Hadoop配置文件
Hadoop安裝目錄下的etc/hadoop目錄中，需修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves(3.0之后為workers)文件，根據(jù)實(shí)際情況修改配置信息。
（1）core-site.xml
<configuration>
<property>
<!– 配置hdfs地址 –>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<!– 保存臨時(shí)文件目錄，需先在/opt/hadoop-2.7.7下創(chuàng)建tmp目錄 –>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.7.7/tmp</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>
（2）hdfs-site.xml
<configuration>
<property>
<!– 主節(jié)點(diǎn)地址 –>
<name>dfs.namenode.http-address</name>
<value>hadoop01:50070</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/hadoop/dfs/data</value>
</property>
<property>
<!– 備份份數(shù) –>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<!– 第二節(jié)點(diǎn)地址 –>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop02:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>配置為false后，可以允許不要檢查權(quán)限就生成dfs上的文件，需防止誤刪操作</description>
</property>
</configuration>
（3）mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop01:19888</value>
</property>
</configuration>
（4）yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop01:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop01:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop01:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop01:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop01:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<!– NodeManager中的配置，這里配置過小可能導(dǎo)致nodemanager啟動(dòng)不起來
大小應(yīng)該大于 spark中 executor-memory + driver的內(nèi)存 –>
<value>6144</value>
</property>
<property>
<!– RsourceManager中配置
大小應(yīng)該大于 spark中 executor-memory + driver的內(nèi)存 –>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>61440</value>
</property>
<property>
<!– 使用核數(shù) –>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>2</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
<description>忽略虛擬內(nèi)存的檢查，如果你是安裝在虛擬機(jī)上，這個(gè)配置很有用，配上去之后后續(xù)操作不易出問題。</description>
</property>
<property>
<!– 調(diào)度策略，設(shè)置為公平調(diào)度器 –>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
</configuration>
（5）slaves文件
#增加從節(jié)點(diǎn)地址（若配置了hosts，可直接使用主機(jī)名，亦可用IP地址）
[root@hadoop01 hadoop]# vim slaves
hadoop02
hadoop03
hadoop04
4. 將配置好的文件夾拷貝到其他從節(jié)點(diǎn)
[root@hadoop01 hadoop-2.7.7]# scp -r /opt/hadoop-2.7.7 root@hadoop02:/opt/
[root@hadoop01 hadoop-2.7.7]# scp -r /opt/hadoop-2.7.7 root@hadoop03:/opt/
[root@hadoop01 hadoop-2.7.7]# scp -r /opt/hadoop-2.7.7 root@hadoop04:/opt/
5. 初始化 & 啟動(dòng)
#格式化
[root@hadoop01 hadoop-2.7.7]# bin/hdfs namenode -format
#啟動(dòng)
[root@hadoop01 hadoop-2.7.7]# sbin/start-dfs.sh
[root@hadoop01 hadoop-2.7.7]# sbin/start-yarn.sh
6. 驗(yàn)證Hadoop啟動(dòng)成功
#主節(jié)點(diǎn)
[root@hadoop01 hadoop-2.7.7]# jps
5895 Jps
5624 ResourceManager
5356 NameNode
#從節(jié)點(diǎn)
[root@hadoop02 hadoop]# jps
5152 SecondaryNameNode
5085 DataNode
5245 NodeManager
5357 Jps
[root@hadoop03 opt]# jps
5080 DataNode
5178 NodeManager
5278 Jps
[root@hadoop04 opt]# jps
5090 NodeManager
5190 Jps
4991 DataNode
7. Web端口訪問
注：先開放端口或直接關(guān)閉防火墻
# 查看防火墻狀態(tài)
firewall-cmd –state
# 臨時(shí)關(guān)閉
systemctl stop firewalld
# 禁止開機(jī)啟動(dòng)
systemctl disable firewalld
在瀏覽器輸入：http://hadoop01:8088打開Hadoop Web頁面。
在瀏覽器輸入：http://hadoop01:50070打開Hadoop Web頁面。
Hadoop基本操作命令
#hadoop dfsadmin -report 查看hdfs集群的存儲(chǔ)空間使用情況。
#hadoop fs -du -h 目錄 查看當(dāng)前目錄下各個(gè)文件占得內(nèi)存
#hadoop fs –rmr /tmp/aaa刪除一個(gè)目錄
#hadoop fs –put文件 hdfs文件目錄上傳一個(gè)文件
#hadoop fs –get hdfs文件下載地址目錄下載一個(gè)文件
#hadoop fs –moveFromLocal文件hdfs文件目錄上傳一個(gè)文件同時(shí)刪除本地文件
#haddop fs –text hdfs目錄查看文件內(nèi)容
#haddopfs –cat hdfs目錄查看文件內(nèi)容
#hadoop job –list獲取任務(wù)列表
#hadoop job –kill job-id殺死一個(gè)job
#hadoop-daemon.sh start datanoe加入一個(gè)新的節(jié)點(diǎn)
#hadoop mradmin/dfsadmin –refreshnones刪除一個(gè)節(jié)點(diǎn)
#yarn application -kill application_任務(wù)id：停止在yarn上運(yùn)行的spark任務(wù)，在resourcemanager上執(zhí)行
#hadoop fs -ls .Trash/Current （顯示Current目錄）
#hadoop fs -rm -r .Trash/Current （刪除Current目錄及其子目錄）
在 Linux Ubuntu 18.04/18.10上安裝Hadoop圖文詳解 http://www.sfodin.cn/Linux/2018-11/155282.htm
CentOS 7 下搭建Hadoop 2.9 分布式集群 http://www.sfodin.cn/Linux/2018-11/155328.htm
