安装Spark(完全分布式部署--Standalone)

1.将Spark解压并上传至/opt目录下

tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz -C /opt/

2.修改环境变量

vi /etc/profile

export SPARK_HOME=/opt/spark

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

source /etc/profile

3.配置Spark-env.sh

a、cd /opt/spark/conf

b、cp spark-env.sh.template spark-env.sh

c、vi spark-env.sh

export JAVA_HOME=/opt/jdk

export SCALA_HOME=/opt/scala

export SPARK_MASTER_IP=master

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORKER_INSTANCES=1

export SPARK_WORKER_MEMORY=3g

export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

4.配置slaves

a、cd /opt/spark/conf

b、mv slaves.template slaves

c、vi slaves

master

slave01

slave02

5.启动和验证Spark

a、8080

b、spark-shell

声明：本站部分作品是由网友自主投稿和发布、编辑整理上传，对此类作品本站仅提供交流平台，转载的目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，不为其版权负责。如果您发现网站上有侵犯您的知识产权的作品，请与我们取得联系，我们会及时修改或删除。

上一篇：从源码看Spark读取Hive表数据小文件和分块的问题
下一篇：Keras之父：大多数深度学习论文都是垃圾，炒作

网友评论：

发表评论