Spark2.3.1中用各種模式來跑官方Demo
1 使用單機local模式提交任務
local模式也就是本地模式,也就是在本地機器上單機執行程式。 使用這個模式的話,並不需要啟動 Hadoop 叢集,也不需要啟動 Spark 叢集,只要有一臺機器上安裝了 JDK 、 Scala 、 Spark 即可執行。
進入到Spark2.1.1的安裝目錄,命令是:
cd/opt/spark/spark-2.1.1-bin-hadoop2.7
執行命令,用單機模式執行計算圓周率的Demo:
./bin/spark-submit--classorg.apache.spark.examples.SparkPi--masterlocalexamples/jars/spark-examples_2.11-2.1.1.jar
如圖:
2 使用獨立的Spark叢集模式提交任務
這種模式也就是 Standalone模式, 使用獨立的Spark叢集模式提交任務,需要先啟動Spark叢集,但是不需要啟動Hadoop叢集 。啟動Spark叢集的方法是進入$SPARK_HOME/sbin目錄下,執行start-all.sh指令碼 ,啟動成功後,可以訪問下面的地址看是否成功:
ofollow,noindex" target="_blank">http://Spark的Marster機器的IP:8080/
如圖:
執行命令,用Standalone模式執行計算圓周率的Demo:
./bin/spark-submit--classorg.apache.spark.examples.SparkPi--masterspark://192.168.27.143:7077examples/jars/spark-examples_2.11-2.1.1.jar
如圖: