YARN架構簡記
HA:RM啟動時會向zk的/mrstore路徑下寫入lock檔案,寫入成功的則為active RM,否則為standby RM。啟動後,RM會將job資訊寫入/mrstore,RM程序中的ZKFC執行緒會監控/mrstore中的lock檔案,若不存在則RM為active,存在則為standby,切換後可從/mrstore讀取job資訊。
執行:Client提交job,會訪問RM,若訪問到standby RM則重新訪問active RM。RM根據job上下文以及從NM收集到的狀態資訊分配資源並排程,啟動一個container用來執行AM。NM負責啟動container,監控所在節點的資源使用情況,並通過心跳機制報告給RM。job的task會在container中執行。
RM,NM相當於寫字樓的管理者,RM總管,NM區域管理,它們提供container(辦公室);
AM相當於專案經理,向寫字樓管理者申請辦公室,在它們提供的container上執行task,完成客戶提交的job。