楠木軒

Hadoop框架:單服務下偽分佈式集羣搭建

由 亓官天亦 發佈於 科技

環境:centos7Hadoop版本:2.7.2jdk版本:1.8
  • bin目錄:存放對Hadoop的HDFS,YARN服務進行操作的腳本
  • etc目錄:Hadoop的相關配置文件目錄
  • lib目錄:存放Hadoop的本地庫,提供數據壓縮解壓縮能力
  • sbin目錄:存放啓動或停止Hadoop相關服務的腳本
  • share目錄:存放Hadoop的依賴jar包、文檔、和相關案例
vim /etc/profile# 添加環境export JAVA_HOME=/opt/jdk1.8export PATH=$PATH:$JAVA_HOME/binexport HADOOP_HOME=/opt/hadoop2.7export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin# 退出刷新配置source /etc/profile

以下配置文件所在路徑:/opt/hadoop2.7/etc/hadoop,這裏是Linux環境,腳本配置sh格式。

root# vim hadoop-env.sh# 修改前export JAVA_HOME=# 修改後export JAVA_HOME=/opt/jdk1.8

文件結構概覽

NameNode的地址

fs.defaultFShdfs://127.0.0.1:9000

數據存放目錄:Hadoop運行時產生文件的存儲目錄。

hadoop.tmp.dir/opt/hadoop2.7/data/tmp

文件結構和上述一樣,配置hdfs副本個數,這裏偽環境,配置1個即可。

dfs.replication1
export JAVA_HOME=/opt/jdk1.8

指定YARN的ResourceManager的地址

yarn.resourcemanager.hostname192.168.72.132

指定map產生的中間結果傳遞給reduce採用的機制是shuffle

yarn.nodemanager.aux-servicesmapreduce_shuffle
export JAVA_HOME=/opt/jdk1.8

將mapred-site.xml.template重新命名為mapred-site.xml。

指定MapReduce程序資源調在度集羣上運行。如果不指定為yarn,那麼MapReduce程序就只會在本地運行而非在整個集羣中運行。

mapreduce.framework.nameyarn

Hdfs相關

格式化NameNode

第一次啓動時執行該操作。

[hadoop2.7]# bin/hdfs namenode -format

格式化NameNode,會產生新的clusterID,導致NameNode和DataNode的集羣id不一致,集羣找不到已往數據。所以,格式NameNode時,一定要停止相關進程,刪除data數據和log日誌,然後再格式化NameNode。clusterID在如下目錄中的VERSION文件裏,可自行查看對比。

/opt/hadoop2.7/data/tmp/dfs/name/current/opt/hadoop2.7/data/tmp/dfs/data/current

啓動NameNode

[hadoop2.7]# sbin/hadoop-daemon.sh start namenode

啓動DataNode

[hadoop2.7]# sbin/hadoop-daemon.sh start datanode

jps查看狀態

[root@localhost hadoop2.7]# jps2450 Jps2276 NameNode2379 DataNode

Web界面查看

需要Linux關閉防火牆和相關安全增強控制(這裏很重要)。

IP地址:50070

Yarn相關

啓動ResourceManager

[hadoop2.7]# sbin/yarn-daemon.sh start resourcemanager

啓動NodeManager

[hadoop2.7]# sbin/yarn-daemon.sh start nodemanager

Web界面查看

IP地址:8088/cluster

MapReduce相關

文件操作測試

創建一個測試文件目錄

[root@localhost inputfile]# pwd/opt/inputfile[root@localhost inputfile]# echo "hello word hadoop" > word.txt

HDFS文件系統上創建文件夾

[hadoop2.7] bin/hdfs dfs -mkdir -p /opt/upfile/input

上傳文件

[hadoop2.7]# bin/hdfs dfs -put /opt/inputfile/word.txt /opt/upfile/input

查看文件

[hadoop2.7]# bin/hdfs dfs -ls /opt/upfile/input

執行文件分析

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /opt/upfile/input /opt/upfile/output

查看分析結果

bin/hdfs dfs -cat /opt/upfile/output/*

結果:每個單詞各自出現一次。

刪除分析結果

bin/hdfs dfs -rm -r /opt/upfile/output

MapReduce的JobHistoryServer,這是一個獨立的服務,可通過 web UI 展示歷史作業日誌。

mapreduce.jobhistory.address192.168.72.132:10020mapreduce.jobhistory.webapp.address192.168.72.132:19888
[hadoop2.7]# sbin/mr-jobhistory-daemon.sh start historyserver
IP地址:19888

日誌聚集概念:應用服務運行完成以後,將運行日誌信息上傳到HDFS系統上。方便的查看到程序運行詳情,方便開發調試。

開啓日誌聚集功能之後,需要重新啓動NodeManager 、ResourceManager和HistoryManager。

關閉上述服務

[hadoop2.7]# sbin/yarn-daemon.sh stop resourcemanager[hadoop2.7]# sbin/yarn-daemon.sh stop nodemanager[hadoop2.7]# sbin/mr-jobhistory-daemon.sh stop historyserver

修改yarn-site

yarn.log-aggregation-enabletrueyarn.log-aggregation.retain-seconds604800

修改完之後再次啓動上述服務器。再次執行文件分析任務。

查看Web端