1、解压scala、spark：
tar -zxvf scala-2.11.8.tgz
tar -zxvf spark-2.4.4-bin-hadoop2.6.tgz
2、配置环境变量(master、slave1、slave2分别执行)：
export SCALA_HOME=/usr/local/src/scala-2.11.8
export SPARK_HOME=/usr/local/src/spark-2.4.4-bin-hadoop2.6
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
重新加载环境变量：
source ~/.bashrc
3、修改spark配置文件(spark-env.sh、slaves)：
进到spark目录：
cd spark-2.4.4-bin-hadoop2.6/
进入conf目录下：
cd conf/
将spark-env.sh.template、slaves.template分别替换为spark-env.sh、slaves：
mv spark-env.sh.template spark-env.sh
mv slaves.template slaves
配置slaves：
配置spark-env.sh：
因为之前搭建hadoop过程中hosts中有域名转换，直接填master：
4、scala\spark拷贝到slave1、slave2节点：
scp -rp spark-2.4.4-bin-hadoop2.6/ root@slave1:/usr/local/src/
scp -rp spark-2.4.4-bin-hadoop2.6/ root@slave2:/usr/local/src/
scp -rp scala-2.11.8/ root@slave2:/usr/local/src/
scp -rp scala-2.11.8/ root@slave2:/usr/local/src/
5、启动spark：
需先启动hadoop：
再启动spark：
master上查看服务进程：
从节点查看服务进程：
浏览器访问：
6、验证
(1)本地模式：
bin目录下执行：
./run-example SparkPi 10 --master local[2]
(2)集群Standlone
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 examples/jars/spark-examples_2.11-2.4.4.jar 100
(3) spark on yarn
spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster examples/jars/spark-examples_2.11-2.4.4.jar 100
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://yundeesoft.com/4845.html
