Apache Storm系列之二（輕鬆搞定 Storm 安裝與啟動）

ZooKeeper Supervisor · 發表 2018-10-21 17:52:40

摘要： Storm 是開源免費的分佈實時計算系統（Apache Storm is a free and open source distributed realtime computation system）。這裡提到了兩個關鍵詞：分散式實時 1、分散式意味著...

Storm 是開源免費的分佈實時計算系統（Apache Storm is a free and open source distributed realtime computation system）。這裡提到了兩個關鍵詞：

分散式
實時

1、分散式意味著 Storm 是部署在多臺主機上，它解決併發性（多機資源同時作業）以及可用性（一臺主機出現問題，計算任務移交到其他機器）問題

分散式自然而然讓我們聯想到了需要一個協調服務，這裡提到的就是 zookeeper。zookeeper 用於協調 Nimbus、Supervisor。

2、實時則區別於 Mapreduce 的批處理

至於如何從原理上理解 Storm 的特性，我會在後面的文章中具體介紹。<font color="red">本文則簡單介紹如何安裝以及啟動 Storm，</font> 先將其完整的運作起來能夠幫助我們理解以及建立信心。這裡為什麼說是簡單介紹呢，因為安裝並啟動一個 Storm 執行環境確實很簡單。

安裝 Storm 之前請確保你已經安裝好:

jdk
zookeeper

部署示例

storm部署圖

三臺主機 mini01 + mini02 + mini03
zookeeper 部署在三臺主機上
mini01 上部署 nimbus 並啟動 UI
supervisor 部署在 mini02 和 mini03 上

安裝

zookeeper 叢集安裝

參見 ofollow,noindex">zookeeper 叢集安裝配置 ,當然你可以安裝單節點的 zookeeper

storm 安裝 & 配置

下載解壓

訪問官網，下載你需要的版本，本文使用的是 1.0.6 版本（apache-storm-1.0.6.tar.gz）。

將 apache-storm-1.0.6.tar.gz 拷貝到三臺主機上並解壓。

cd /home/app
tar -zxvf apache-storm-1.0.6.tar.gz

增加 Storm 環境變數

修改/etc/profile，將 Storm 加入環境變數

vim /etc/profile

/etc/profile 檔案如下

export STORM_HOME=/home/app/apache-storm-1.0.6
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$STORM_HOME/bin:$PATH

生效/etc/profile

source /etc/profile

修改 Storm 配置檔案

cd apache-storm-1.0.6/conf
vim storm.yaml

配置每臺主機上的 storm.yaml 檔案，配置內容如下

storm.zookeeper.servers:
- "mini01"
- "mini02"
- "mini03"

storm.local.dir: "/home/app/apache-storm-1.0.6/data"

nimbus.seeds: ["mini01"]

supervisor.slots.ports:
- 6700
ui: 8088

其中：

storm.zookeeper.servers：配置 zookeeper 的服務節點，因為這裡使用 zookeeper 的預設埠(2181)，所以 zookeeper 的埠就不需要特別指定
storm.local.dir： Nimbus 和 upervisor 需要一個本地目錄存放少量狀態（例如 Jar 包或者配置檔案之類）。使用者首先需要建立這個目錄。
nimbus.seeds：nimbus 節點地址，這裡 mini01 主機作為主節點
supervisor.slots.ports：配置supervisor，開啟幾個埠插槽，就開啟幾個對應的worker程序
ui: 設定Storm Web UI 的 http 埠(可選，本文中我們只在 mini01 上配置該屬性，因為我們訪問的是 mini01:8088)

特別注意，配置項冒號後面需要接一個空格

這裡只列出了幾個能保證服務正常執行的配置項，Storm 提供了很多其他配置項，感興趣的可以看看 Storm 配置檔案原始碼

啟動

mini01 上啟動 nimbus 以及 Storm UI

nohup storm nimbus &
nohup storm ui &

mini02 和 mini03 上啟動 supervisor

nohup storm supervisor &

驗證

jps

mini01 上可以看到 zookeeper(QuorumPeerMain) 以及 nimnus 程序

[root@mini01 5257]# jps
4810 QuorumPeerMain
5257 core
5206 nimbus
5410 Jps

mini02 和 mini03 上可以看到 supervisor 程序

[root@mini02 bin]# jps
2823 QuorumPeerMain
3100 Supervisor
3191 Jps

Storm Web UI

訪問 mini01:8088

Storm UI

Tips

在安裝啟動時可能會有一些報錯（例如下面）：

storm nimbus not a leader
java.util.zip.ZipException: Not in GZIP format
org.apache.storm.shade.org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode

請確保：

防火牆沒有阻止埠，包括 zookeeper 和 storm。
zookeeper 正常啟動。
/etc/hosts 配置正確。

不能正常執行， 檢視如下幾個日誌，對症下藥 即可：

zookeeper 報錯請檢視 ZK_HOME/bin/zookeeper.out;
nimbus 報錯請檢視 STORM_HOME/logs/nimbus.log;
supervisor 報錯請檢視 STORM_HOME/logs/supervisor.log

掃碼關注微信公眾號"Kooola大資料"，聊人生|聊技術

Apache Storm系列 之二（ 輕鬆搞定 Storm 安裝與啟動）