大數據：hadoop多節點集羣搭建指南

1、多節點集羣架構設計

後續介紹的hadoop多節點集羣由三台計算機構成:一台主節點為master，兩台從節點為slave1、slave2。

master節點上主要運行namenode、Resourcemanager 進程；slave節點上運行datanode、nodemanager進程。

由於大家一般只有一台計算機，因此我們使用虛擬機軟件VMware workstation虛擬出三台計算機來分別運行master、slave1、slave2節點。因為是虛擬出的集羣，所以跟實際的進羣還是有差距的，不會體會到真正的並行計算與並行存儲的優勢。實際工作中整個集羣會有十幾個甚至上百個節點，可以批量處理以T為單位的數據。然而他們配置方法是大致相同的，運行過程也是一致的，區別只是在運行速度和存儲數據量上會體現出來。

為了簡化安裝過程，我們將在之前的偽分佈集羣基礎上通過修改配置文件等操作來創建master節點。

2、複製偽分佈集羣節點

首先需要複製之前安裝配置過偽分佈集羣的虛擬機。具體操作步驟如下：

1）啓動VMware Workstation，選擇 虛擬機->管理->克隆

單擊下一步繼續

克隆自 選擇虛擬機中的當前狀態，然後單擊下一步

克隆方法選擇創建完整克隆

虛擬機名稱設置為master，虛擬機位置根據電腦情況，請自定義。最後單擊完成按鈕完成克隆配置。

耐心等待，克隆過程時間長短取決於電腦磁盤讀寫性能。

出現如下圖標表示克隆完成，單擊關閉按鈕結束克隆過程。

此時VMware自動彈出克隆後的虛擬機控制窗口。

3、虛擬機參數設置

用於分佈式集羣的虛擬機既要可以連接互聯網又要可以連接其他虛擬機，在VMware軟件中網卡類型選擇NAT模式即可完成集羣外部、內部通訊。如果是在virtualbox中則配置NAT網卡之外還需配置僅主機模式網卡一張，NAT與外部通訊，僅主機模式網卡用於集羣內部通訊。

參照下圖雙擊網絡適配器

雙擊

網絡連接選擇NAT模式，內存建議2G，其他配置默認即可。

複製好master虛擬機之後還需對其進行多項配置，主要有hostname、配置固定IP，修改hadoop配置文件等，這些內容將在下篇介紹。