安裝前準備

集群環(huán)境下，至少需要3臺服務(wù)器。

IP地址	主機名稱 (資料圖片僅供參考)
10.0.0.5	node1
10.0.0.6	node2
10.0.0.7	node3

需要保證每臺服務(wù)器的配置都一致，以下步驟在3臺服務(wù)器上都需要做一次。

操作系統(tǒng)準備

本次安裝采用的操作系統(tǒng)是Ubuntu 20.04。

更新一下軟件包列表。

sudo apt-get update

復(fù)制

安裝Java 8+

使用命令安裝Java 8。

sudo apt-get install -y openjdk-8-jdk

復(fù)制

配置環(huán)境變量。

vi ~/.bashrcexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

復(fù)制

讓環(huán)境變量生效。

source ~/.bashrc

復(fù)制

下載Hadoop安裝包

從Hadoop官網(wǎng)Apache Hadoop下載安裝包軟件。

或者直接通過命令下載。

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

復(fù)制

分布式集群安裝

分布式集群是在多個節(jié)點上運行進程來實現(xiàn)Hadoop集群。

配置域名解析

在后續(xù)使用過程中，都使用主機名稱，所以需要配置域名解析。

配置 /etc/hosts。

由于該配置文件的修改需要root權(quán)限，所以在每個節(jié)點上都手動配置。

10.0.0.5 node110.0.0.6 node210.0.0.7 node3

復(fù)制

以下配置過程在node1上完成，并且配置完成后將配置文件復(fù)制到其他節(jié)點。

配置免密登錄

Hadoop分布式集群的運行，需要配置密鑰對實現(xiàn)免密登錄。

創(chuàng)建公私鑰對

hadoop@node1:~$ ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/hadoop/.ssh/id_rsaYour public key has been saved in /home/hadoop/.ssh/id_rsa.pubThe key fingerprint is:SHA256:pp2AC1bQAQ5J6CJJCij1QA7bgKOsVxpoPVNi+cxhcyg hadoop@node1The key"s randomart image is:+---[RSA 3072]----+|O=*oo..          ||OX E.* .         ||X+* @ +          ||B+.=.=           ||= o++ . S        ||..o. . = .       || .  . . o        ||                 ||                 |+----[SHA256]-----+

復(fù)制復(fù)制公鑰

hadoop@node1:~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

復(fù)制復(fù)制到其他節(jié)點

hadoop@node1:~$ scp -r .ssh node1:~/id_rsa.pub                                   100%  566     1.7MB/s   00:00    authorized_keys                              100%  566     2.0MB/s   00:00    known_hosts                                  100% 1332     4.5MB/s   00:00    id_rsa                                       100% 2602    10.1MB/s   00:00    hadoop@node1:~$ scp -r .ssh node2:~/hadoop@node2"s password: id_rsa.pub                                   100%  566   934.6KB/s   00:00    authorized_keys                              100%  566   107.3KB/s   00:00    known_hosts                                  100% 1332     2.5MB/s   00:00    id_rsa                                       100% 2602     4.8MB/s   00:00    hadoop@node1:~$ scp -r .ssh node3:~/hadoop@node3"s password: id_rsa.pub                                   100%  566     1.0MB/s   00:00    authorized_keys                              100%  566     1.3MB/s   00:00    known_hosts                                  100% 1332     2.8MB/s   00:00    id_rsa                                       100% 2602     5.2MB/s   00:00    

復(fù)制

確保執(zhí)行ssh命令的時候不需要輸入密碼。

hadoop@node1:~$ ssh node1hadoop@node1:~$ ssh node2hadoop@node1:~$ ssh node3

復(fù)制

解壓安裝包

將安裝包解壓到目標路徑。

hadoop@node1:~$ mkdir -p appshadoop@node1:~$ tar -xzf hadoop-3.3.4.tar.gz -C apps

復(fù)制

bin目錄下存放的是Hadoop相關(guān)的常用命令，比如操作HDFS的hdfs命令，以及hadoop、yarn等命令。

etc目錄下存放的是Hadoop的配置文件，對HDFS、MapReduce、YARN以及集群節(jié)點列表的配置都在這個里面。

sbin目錄下存放的是管理集群相關(guān)的命令，比如啟動集群、啟動HDFS、啟動YARN、停止集群等的命令。

share目錄下存放了一些Hadoop的相關(guān)資源，比如文檔以及各個模塊的Jar包。

配置環(huán)境變量

在集群的每個節(jié)點上都配置Hadoop的環(huán)境變量，Hadoop集群在啟動的時候可以使用start-all.sh一次性啟動集群中的HDFS和Yarn，為了能夠正常使用該命令，需要將其路徑配置到環(huán)境變量中。

hadoop@node1:~$ vi ~/.bashrcexport HADOOP_HOME=/home/hadoop/apps/hadoop-3.3.4export HADOOP_CONF_DIR=/home/hadoop/apps/hadoop-3.3.4/etc/hadoopexport YARN_CONF_DIR=/home/hadoop/apps/hadoop-3.3.4/etc/hadoopexport PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

復(fù)制

使環(huán)境變量生效。

hadoop@node1:~$ source ~/.bashrc

復(fù)制

配置Hadoop集群

Hadoop軟件安裝完成后，每個節(jié)點上的Hadoop都是獨立的軟件，需要進行配置才能組成Hadoop集群。Hadoop的配置文件在$HADOOP_HOME/etc/hadoop目錄下，主要配置文件有6個：

hadoop-env.sh主要配置Hadoop環(huán)境相關(guān)的信息，比如安裝路徑、配置文件路徑等；core-site.xml是Hadoop的核心配置文件，主要配置了Hadoop的NameNode的地址、Hadoop產(chǎn)生的文件目錄等信息；hdfs-site.xml是HDFS分布式文件系統(tǒng)相關(guān)的配置文件，主要配置了文件的副本數(shù)、HDFS文件系統(tǒng)在本地對應(yīng)的目錄等；mapred-site.xml是關(guān)于MapReduce的配置文件，主要配置MapReduce在哪里運行；yarn-site.xml是Yarn相關(guān)的配置文件，主要配置了Yarn的管理節(jié)點ResourceManager的地址、NodeManager獲取數(shù)據(jù)的方式等；workers是集群中節(jié)點列表的配置文件，只有在這個文件里面配置了的節(jié)點才會加入到Hadoop集群中，否則就是一個獨立節(jié)點。

這幾個配置文件如果不存在，可以通過復(fù)制配置模板的方式創(chuàng)建，也可以通過創(chuàng)建新文件的方式創(chuàng)建。需要保證在集群的每個節(jié)點上這6個配置保持同步，可以在每個節(jié)點單獨配置，也可以在一個節(jié)點上配置完成后同步到其他節(jié)點。

hadoop-env.sh配置

hadoop@node1:~$ vi $HADOOP_HOME/etc/hadoop/hadoop-env.shexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64export HADOOP_HOME=/home/hadoop/apps/hadoop-3.3.4export HADOOP_CONF_DIR=/home/hadoop/apps/hadoop-3.3.4/etc/hadoopexport HADOOP_LOG_DIR=/home/hadoop/logs/hadoop

復(fù)制

core-site.xml配置

hadoop@node1:~$ vi $HADOOP_HOME/etc/hadoop/core-site.xml          fs.defaultFS      hdfs://node1:8020              hadoop.tmp.dir      /home/hadoop/data/hadoop/temp              hadoop.proxyuser.hadoop.hosts      *              hadoop.proxyuser.hadoop.groups      *    

復(fù)制

hdfs-site.xml配置

hadoop@node1:~$ vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml            dfs.replication        3              dfs.namenode.name.dir      /home/hadoop/data/hadoop/hdfs/name              dfs.datanode.data.dir      /home/hadoop/data/hadoop/hdfs/data    

復(fù)制

mapred-site.xml配置

hadoop@node1:~$ vi $HADOOP_HOME/etc/hadoop/mapred-site.xml            mapreduce.framework.name        yarn                mapreduce.application.classpath        $HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*    

復(fù)制

yarn-site.xml配置

hadoop@node1:~$ vi $HADOOP_HOME/etc/hadoop/yarn-site.xml          yarn.nodemanager.aux-services      mapreduce_shuffle                  yarn.resourcemanager.hostname        node1    

復(fù)制

workers配置

hadoop@node1:~$ vi $HADOOP_HOME/etc/hadoop/workersnode1node2node3

復(fù)制

將軟件及配置信息復(fù)制到其他節(jié)點

在node1上配置好環(huán)境變量及配置文件，可以手動再在其他節(jié)點上完成同樣的配置，或者直接將node1的文件復(fù)制到其他節(jié)點。

hadoop@node1:~$ scp -r .bashrc apps node2:~/hadoop@node1:~$ scp -r .bashrc apps node3:~/

復(fù)制

格式化NameNode

在啟動集群前，需要對NameNode進行格式化，在node1上執(zhí)行以下命令：

hadoop@node1:~$ hdfs namenode -format

復(fù)制

啟動集群

在node1上執(zhí)行start-all.sh命令啟動集群。

hadoop@node1:~$ jps55936 Jpshadoop@node1:~$ start-all.shWARNING: Attempting to start all Apache Hadoop daemons as hadoop in 10 seconds.WARNING: This is not a recommended production deployment configuration.WARNING: Use CTRL-C to abort.Starting namenodes on [node1]Starting datanodesnode2: WARNING: /home/hadoop/logs/hadoop does not exist. Creating.node3: WARNING: /home/hadoop/logs/hadoop does not exist. Creating.Starting secondary namenodes [node1]WARNING: YARN_CONF_DIR has been replaced by HADOOP_CONF_DIR. Using value of YARN_CONF_DIR.Starting resourcemanagerWARNING: YARN_CONF_DIR has been replaced by HADOOP_CONF_DIR. Using value of YARN_CONF_DIR.Starting nodemanagersWARNING: YARN_CONF_DIR has been replaced by HADOOP_CONF_DIR. Using value of YARN_CONF_DIR.node3: WARNING: YARN_CONF_DIR has been replaced by HADOOP_CONF_DIR. Using value of YARN_CONF_DIR.node2: WARNING: YARN_CONF_DIR has been replaced by HADOOP_CONF_DIR. Using value of YARN_CONF_DIR.node1: WARNING: YARN_CONF_DIR has been replaced by HADOOP_CONF_DIR. Using value of YARN_CONF_DIR.hadoop@node1:~$ jps57329 ResourceManager57553 NodeManager57027 SecondaryNameNode58165 Jps56437 NameNode56678 DataNode

復(fù)制

驗證Hadoop

訪問HDFS

上傳一個文件到HDFS。

hdfs dfs -put .bashrc /

復(fù)制

打開HDFS Web UI查看相關(guān)信息，默認端口9870。

訪問YARN

打開YARN Web UI查看相關(guān)信息，默認端口8088。

相關(guān)命令

HDFS相關(guān)的命令

操作HDFS使用的命令是hdfs，命令格式為：

Usage: hdfs [OPTIONS] SUBCOMMAND [SUBCOMMAND OPTIONS]

復(fù)制

支持的Client命令主要有：

Client Commands:classpath            prints the class path needed to get the hadoop jar and the required librariesdfs                  run a filesystem command on the file systemenvvars              display computed Hadoop environment variablesfetchdt              fetch a delegation token from the NameNodegetconf              get config values from configurationgroups               get the groups which users belong tolsSnapshottableDir   list all snapshottable dirs owned by the current usersnapshotDiff         diff two snapshots of a directory or diff the current directory contents with a snapshotversion              print the version

復(fù)制

YARN相關(guān)的命令

操作HDFS使用的命令是yarn，命令格式為：

Usage: yarn [OPTIONS] SUBCOMMAND [SUBCOMMAND OPTIONS] or    yarn [OPTIONS] CLASSNAME [CLASSNAME OPTIONS]  where CLASSNAME is a user-provided Java class

復(fù)制

支持的Client命令主要有：

Client Commands:applicationattempt   prints applicationattempt(s) reportapp|application      prints application(s) report/kill application/manage long running applicationclasspath            prints the class path needed to get the hadoop jar and the required librariescluster              prints cluster informationcontainer            prints container(s) reportenvvars              display computed Hadoop environment variablesfs2cs                converts Fair Scheduler configuration to Capacity Scheduler (EXPERIMENTAL)jar             run a jar filelogs                 dump container logsnodeattributes       node attributes cli clientqueue                prints queue informationschedulerconf        Updates scheduler configurationtimelinereader       run the timeline reader servertop                  view cluster informationversion              print the version

復(fù)制

yarn jar 可以執(zhí)行一個jar文件。

驗證案例1，統(tǒng)計含有“dfs”的字符串

創(chuàng)建一個input目錄。

hadoop@node1:~$ hdfs dfs -mkdir /input

復(fù)制

將Hadoop的配置文件復(fù)制到input目錄下。

hadoop@node1:~$ hdfs dfs -put apps/hadoop-3.3.4/etc/hadoop/*.xml /input/

復(fù)制

以下命令用于執(zhí)行一個Hadoop自帶的樣例程序，統(tǒng)計input目錄中含有dfs的字符串，結(jié)果輸出到output目錄。

hadoop@node1:~$ yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar grep /input /output "dfs[a-z.]+"

復(fù)制

在YARN上可以看到提交的Job。

執(zhí)行結(jié)果為：

hadoop@node1:~$ hdfs dfs -cat /output/*1       dfsadmin1       dfs.replication1       dfs.namenode.name.dir1       dfs.datanode.data.dir

復(fù)制驗證案例2，計算圓周率

同樣執(zhí)行Hadoop自帶的案例，計算圓周率。

hadoop@node1:~$ yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 10 10

復(fù)制

執(zhí)行結(jié)果為：

hadoop@node1:~$ yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 10 10WARNING: YARN_CONF_DIR has been replaced by HADOOP_CONF_DIR. Using value of YARN_CONF_DIR.Number of Maps  = 10Samples per Map = 10Wrote input for Map #0Wrote input for Map #1Wrote input for Map #2Wrote input for Map #3Wrote input for Map #4Wrote input for Map #5Wrote input for Map #6Wrote input for Map #7Wrote input for Map #8Wrote input for Map #9Starting Job... ...Job Finished in 43.014 secondsEstimated value of Pi is 3.20000000000000000000

復(fù)制

在YARN上可以看到提交的Job。