hadoop框架結構的說明介紹
近年,隨著網際網路的發展特別是移動網際網路的發展,資料的增長呈現出一種爆炸式的成長勢頭。單是谷歌的爬蟲程式每天下載的網頁超過1億個(2000年資料,)資料的爆炸式增長直接推動了海量資料處理技術的發展。谷歌公司提出的大表、分散式檔案系統和分散式計算的三大技術構架,解決了海量資料處理的問題。谷歌公司隨即將設計思路開源,發表了具有劃時代意義的三篇論文,很快根據谷歌設計思路的開源框架就出現了,就是如今非常火爆的hadoop、Maperduce和許多Nosql系統。這三大技術也是整個大資料技術的核心基礎。
目前國內的hadoop商業發行版也是比較多,這些hadoop商業版大部分都是由國外發行的,純國產的發行版不是很多,比如DKhadoop,可以說是目前國內自主做hadoop商業版比較好的了。下面就以大快搜索DKhadoop為例來給大家介紹一下hadoop框架結構!
圖示:DKhadoop技術技術架構圖
hadoop框架結構核心:
hadoop的框架結構最核心的設計就是:HDFS和MapReduce。HDFS為海量的資料提供了儲存,MapReduce為海量的資料提供了計算。
大資料一體化開發框架:
大資料的應用開發過於偏向底層,設計技術面非常廣泛,學習的難度自然要大的很多。對於新手入門更是難上加難。DKhadoop則是大快搜索將一系列技術框架在底層進行了重新封裝。把大資料開發中的一些通用的,重複使用的基礎程式碼、演算法封裝為類庫,降低了大俗局的學習門檻,降低開發難度。
DKhadoop框架結構構成模組:
我們以DKhadoop發行版為例:
1、框架由:資料來源與SQL引擎、資料採集(自定義爬蟲)模組、資料處理模組、機器學習演算法、自然語言處理模組、搜尋引擎模組,六部分組成。
2、大快的大資料通用計算平臺(DKH),已經整合相同版本號的開發框架的全部元件。如果在開源大資料框架上部署大快的開發框架,需要平臺的元件支援如下:
(1)資料來源與SQL引擎:DK.Hadoop、spark、hive、sqoop、flume、kafka
(2)資料採集:DK.hadoop
(3)資料處理模組:DK.Hadoop、spark、storm、hive
(4)機器學習和AI:DK.Hadoop、spark
(5)NLP模組:上傳伺服器端JAR包,直接支援
(6)搜尋引擎模組:不獨立釋出
Dkhadoop是大快深度整合,重新編譯後的HADOOP發行版,可單獨釋出。獨立部署FreeRCH(大快大資料一體化開發框架)時,必需的元件。DK.HADOOP整合集成了NOSQL資料庫,簡化了檔案系統與非關係資料庫之間的程式設計;DK.HADOOP改進了叢集同步系統,使得HADOOP的資料處理更加高效。