Windows 10 搭建Hadoop平臺
一、環境配置
JDK:1.8.
Hadoop下載地址(我選擇的是2.7.6版本):https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
Hadoop執行在Windows上需要安裝winutils支援和hadoop.dll檔案。
winutils(我選擇的是2.7.1版本)下載地址:https://github.com/steveloughran/winutils。
將檔案解壓到D盤根目錄。
二、配置環境變數。
需要配置4個環境變數(JAVA相關自行百度)。
HADOOP_HOME:D:\hadoop-2.7.6
HADOOP_CONF_DIR:%HADOOP_HOME%\etc\hadoop
YARN_CONF_DIR:%HADOOP_CONF_DIR%
PATH新增%HADOOP_HOME%/bin
三、搭建winutils環境。
將下載的winutils(選擇2.7.1版本中的檔案放到) D:\hadoop-2.7.6\bin 資料夾中。
四、Hadoop環境配置。
首先,進入hadoop資料夾下的etc\hadoop資料夾,資料夾下修改檔案:
- 修改core-site.xml為如下程式碼:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
- 修改mapred-site.xml為如下程式碼:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
- 修改hdfs-site.xml如下:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/D:/hadoop-2.7.6/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/D:/hadoop-2.7.6/data/datanode</value> </property> </configuration>
- 修改yarn-site.xml為:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
- 修改hadoop-env.cmd,JAVA_HOME設定為 set JAVA_HOME=C:\Java\jdk1.8.0_144,並在尾部新增
set HADOOP_IDENT_STRING=%USERNAME% set HADOOP_PREFIX=D:\hadoop-2.7.6 set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop set YARN_CONF_DIR=%HADOOP_CONF_DIR% set PATH=%PATH%;%HADOOP_PREFIX%\bin
- 在D:\hadoop-2.7.6\etc\hadoop資料夾下建立slaves.txt檔案,並在其中新增localhost
五、執行Hadoop
- 開啟cmd,執行‘hdfs namenode -format’,執行沒有報錯,說明成功。
- 然後進入hadoop目錄下sbin資料夾,雙擊start-all.cmd,得到如下圖所示四張圖:
-
開啟cmd,輸入jps。可以看到如下提示。
-
搭建成功。
- 搭建過程中遇到問題。
- 1、NameNode資料夾不存在,我手動在路徑中新增資料夾。()
- 2、啟動後報錯NameNode資料夾沒有format。開啟cmd,輸入hadoop namenode -format。重新啟動start-all.cmd檔案。
- 3、經過上部,發現ResourceManager又出問題。啟動stop-all.sh,然後start-all.sh,然後start-all.cmd。
- 上訴3步過後,系統搭建OK。