「深度学习福利」大神带你进阶工程师，立即查看>>>
本文转载自： https://blog.csdn.net/Sugar_girl/article/details/77867618 并加入了自己安装中遇到的一些问题.
本次安装部署版本： Hadoop2.8.1+Scala2.12.3+Spark2.2.0
1.环境准备
修改主机名
　　我们将搭建1个master，2个slave的集群方案。首先修改主机名vi /etc/hostname，在master上修改为master，其中一个slave上修改为slave1，另一个修改为slave2。
配置hosts
　　在每台主机上修改host文件 vi /etc/hosts 10.1.1.107 master 10.1.1.108 slave1 10.1.1.109 slave2
　　配置之后ping一下用户名看是否生效 ping slave1 ping slave2
SSH 免密码登录
　　安装Openssh server sudo apt-get install openssh-server
　　在所有机器上都生成私钥和公钥 ssh-keygen -t rsa #一路回车
　　需要让机器间都能相互访问，就把每个机子上的id_rsa.pub发给master节点，传输公钥可以用scp来传输。 scp ~/.ssh/id_rsa.pub tx@master:~/.ssh/id_rsa.pub.slave1
　　在master上，将所有公钥加到用于认证的公钥文件authorized_keys中 cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys 　　将公钥文件authorized_keys分发给每台slave scp ~/.ssh/authorized_keys tx@slave1:~/.ssh/
　　在每台机子上验证SSH无密码通信 ssh master ssh slave1 ssh slave2
　　如果登陆测试不成功，则可能需要修改文件authorized_keys的权限（权限的设置非常重要，因为不安全的设置安全设置,会让你不能使用RSA功能 ） chmod 600 ~/.ssh/authorized_keys
　　如果遇到ssh登录The authenticity of host 192.168.xxx.xxx can’t be established.的问题，执行scp报错 The authenticity of host '192.168.23.130 (192.168.23.130)' can't be established. ECDSA key fingerprint is SHA256:EsqTfeCJ34DnGV66REuRRPhoFwaLuee5wxFgEAZ8b9k. Are you sure you want to continue connecting (yes/no)? Host key verification failed. lost connection
　　这时，修改/etc/ssh/ssh_config文件的配置，以后则不会再出现此问题，在最后面添加： StrictHostKeyChecking no UserKnownHostsFile /dev/null
安装 Java
　　从官网下载最新版 Java 就可以，Spark官方说明 Java 只要是6以上的版本都可以，我下的是 jdk-8u144-linux-x64.tar.gz ，在~/workspace目录下直接解压。 tar -zxvf jdk-8u144-linux-x64.tar.gz
　　修改环境变量sudo vi /etc/profile，添加下列内容，注意将home路径替换成你的： export WORK_SPACE=/home/tx/workspace/ export JAVA_HOME=$WORK_SPACE/jdk1.8.0_144 export JRE_HOME=/home/tx/workspace/jdk1.8.0_144/jre export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
　　然后使环境变量生效，并验证 Java 是否安装成功 $ source /etc/profile #生效环境变量 $ java -version #如果打印出如下版本信息，则说明安装成功 java version "1.8.0_144" Java(TM) SE Runtime Environment (build 1.8.0_144-b01) Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
安装 Scala
　　 官方下载 Scala2.12.3，同样在~/workspace中解压. tar -zxvf scala-2.12.3.tgz
　　再次修改环境变量sudo vi /etc/profile，添加以下内容： export SCALA_HOME=$WORK_SPACE/scala-2.12.3 export PATH=$PATH:$SCALA_HOME/bin
　　同样的方法使环境变量生效，并验证 scala 是否安装成功 $ source /etc/profile #生效环境变量 $ scala -version #如果打印出如下版本信息，则说明安装成功 Scala code runner version 2.12.3 -- Copyright 2002-2017, LAMP/EPFL and Lightbend, Inc.
2.安装配置 Hadoop YARN
下载解压
　　从官网下载 hadoop2.8.1 版本，同样在~/workspace中解压。 tar -zxvf hadoop-2.8.1.tar.gz
配置 Hadoop
　　cd ~/workspace/hadoop-2.8.1/etc/hadoop进入hadoop配置目录，需要配置有以下7个文件：hadoop-env.sh，yarn-env.sh，slaves，core-site.xml，hdfs-site.xml，maprd-site.xml，yarn-site.xml 在hadoop-env.sh中配置JAVA_HOME # The java implementation to use. export JAVA_HOME=/home/tx/workspace/jdk1.8.0_144 在yarn-env.sh中配置JAVA_HOME # The java implementation to use. export JAVA_HOME=/home/tx/workspace/jdk1.8.0_144 在slaves中配置slave节点的ip或者host slave1 slave2 修改core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000/</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/tx/workspace/hadoop-2.8.1/tmp</value> </property> </configuration> 修改hdfs-site.xml <configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/tx/workspace/hadoop-2.8.1/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/tx/workspace/hadoop-2.8.1/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration> 修改mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 修改yarn-site.xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8035</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> </configuration>
　　将配置好的hadoop-2.8.1文件夹分发给所有slaves scp -r ~/workspace/hadoop-2.8.1 tx@slave1:~/workspace/hadoop-2.8.1
启动 Hadoop
　　在 master 上执行以下操作，就可以启动 hadoop 了。 cd ~/workspace/hadoop-2.8.1 #进入hadoop目录 bin/hadoop namenode -format #格式化namenode sbin/start-dfs.sh #启动dfs sbin/start-yarn.sh #启动yarn
验证 Hadoop 是否安装成功
　　可以通过jps命令查看各个节点启动的进程是否正常。在 master 上应该有以下几个进程： $ jps #run on master 3407 SecondaryNameNode 3218 NameNode 3552 ResourceManager 3910 Jps
　　在每个slave上应该有以下几个进程： $ jps #run on slaves 2072 NodeManager 2213 Jps 1962 DataNode
　　或者在浏览器中输入 http://master:8088 ，应该有 hadoop 的管理界面出来了，并能看到 slave1 和 slave2 节点。
　　此时，如果你发现slave中datanode没有启动，则将slave的tmp、data、node文件全部删除，重启hadoop即可解决问题。
3. Spark安装
下载解压
　　进入官方下载地址下载最新版 Spark。我下载的是 spark-2.2.0-bin-hadoop2.7.tgz ，你会发现下得贼慢，这时候就用迅雷下载后关机功能吧。。
在~/workspace目录下解压 tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0 #原来的文件名太长了，修改下
配置 Spark cd ~/workspace/spark-2.2.0/conf #进入spark配置目录 cp spark-env.sh.template spark-env.sh #从配置模板复制 vi spark-env.sh #添加配置内容
　　在spark-env.sh末尾添加以下内容（这是我的配置，你可以自行修改）： export SCALA_HOME=/home/tx/workspace/scala-2.12.3 export JAVA_HOME=/home/tx/workspace/jdk1.8.0_144 export HADOOP_HOME=/home/tx/workspace/hadoop-2.8.1 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop SPARK_MASTER_IP=master SPARK_LOCAL_DIRS=/home/tx/workspace/spark-2.2.0 SPARK_DRIVER_MEMORY=1G
　　注：在设置Worker进程的CPU个数和内存大小，要注意机器的实际硬件条件，如果配置的超过当前Worker节点的硬件条件，Worker进程会启动失败。
　　vi slaves在slaves文件下填上slave主机名： slave1 slave2
　　将配置好的spark-2.2.0文件夹分发给所有slaves scp -r ~/workspace/spark-2.2.0 tx@slave1:~/workspace/
启动Spark sbin/start-all.sh
验证 Spark 是否安装成功
　　用jps检查，在 master 上应该有以下几个进程： $ jps 7949 Jps 7328 SecondaryNameNode 7805 Master 7137 NameNode 7475 ResourceManager
　　在 slave 上应该有以下几个进程： $jps 3132 DataNode 3759 Worker 3858 Jps 3231 NodeManager
　　进入Spark的Web管理页面： http://master:8080
4. 运行示例 #本地模式两线程运行 ./bin/run-example SparkPi 10 --master local[2] #Spark Standalone 集群模式运行 ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://master:7077 \ lib/spark-examples-1.3.0-hadoop2.4.0.jar \ 100 #Spark on YARN 集群上 yarn-cluster 模式运行 ./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn-cluster \ # can also be `yarn-client` lib/spark-examples*.jar \ 10
本人遇到的问题:
1: 执行sbin/start-all.sh后，slave节点无法启动，报错提示 连接spark://Spark-Master:7077失败，在网上找了很多资料后无法解决问题，后面找到了一个方法 是分别执行 sbin/start-master.sh [master-ip] , sbin/start-slave.sh [master-ip] 来执行解决，后面自己想ip可以应该就是hostname不匹配的原因,因为自己master机器的hostname为Spark-Master，把 master-ip Spark-Master 注册到/etc/hosts里面后 然后分发到slave机器，重新执行sbin/start-all.sh 正常启动，节点也可以看到了.
2: HDFS启动后在master:50070上访问点击tmp文件夹报Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":root:supergroup:drwx-wx-wx ，根据网上查找资料后执行 hdfs dfs -chmod -R 755 /tmp 可以解决，但后面启动spark-shell后报错The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxr-xr-x,在此看到提示没有写的权限，执行 hdfs dfs -chmod -R 777 /tmp ,解决问题