在Linux集群上安装和配置Spark
作者:网络转载 发布时间:[ 2015/2/2 11:13:47 ] 推荐标签:Linux 操作系统
1、安装JDK
1) 进入JDK官网
2) 下载JDK安装包
3)配置环境变量,在/etc/profile增加以下代码
JAVA_HOME=/home/hadoop/jdk1.6.0_38
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/jre/lib/dt.jar:$JAVA_HOME/jre/lib/tools.jar
export JAVA_HOME PATH CLASSPATH
4)使profile文件更新生效
source /etc/profile
2、安装Scala
Scala 官网提供各个版本的Scala,用户需要根据Spark官方规定的Scala版本进行下载和安装。Scala官网地址为http://www.scala-lang.org/
1) 下载Scala
2)在目录下解压
tar -zxvf scala-2.10.4.tgz
3)配置环境变量,在/etc/profile中添加下面的内容
export SCALA__HOME=/home/hadoop/scala-2.10.4/scala-2.10.4
export PATH=${SCALA_HOME}/bin:$PATH
4)使用profile文件更新生效
source /etc/profile
3、配置SSH免密码登录
在集群管理和配置中有很多工具可以使用。例如,可以采用pssh等Linux工具在集群中分发与复制文件,用户也可以自己书写Shell、Python的脚步分发包。
Spark的Master节点向Worker节点命令需要通过ssh进行发送,用户不希望Master每发送一次命令输入一次密码,因此需要实现Master无密码登陆到所有Worker。
Master作为客户端,要实现无密码公钥认证,连接服务端Worker。需要在Master上生成一个秘钥对,包括一个公钥和一个私钥,然后将公钥复制到Worker上。当Master通过ssh连接Worker
1)在Master节点上,执行以下命令
ssh-keygen-trsa
2)打印日志执行以下命令
如果是root用户,则在/root/.ssh/目录下生成一个私钥id_rsa和一个公钥id_rsa.pub。
把Master上的id_rsa.pub文件追加到Worker的authorized_keys内。
3)复制Master的id_rsa.pub文件
scp id_rsa.pub root@172.20.14.144:/home
/*可使用pssh对全部节点分发*/
4)登录worker节点,执行以下命令
cat /home/id_rsa.pub >> /root/.ssh/authorized_keys
/*可使用pssh对全部节点分发*/
注意:配置完毕,如果Master仍然不能访问Worker,可以修改Worker的authorized_keys文件的权限,命令为 chmod 600 authorized_keys
4、安装Hadoop
(1)下载hadoop-2.2.0
1)选取一个Hadoop镜像网址,下载Hadoop
wget http://www.trieuvan.com/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz
2)解压tar包
tar -vxzf hadoop-2.2.0.tar.gz -C /usr/local
cd /usr/local
mv hadoop-2.2.0 hadoop
chown -R hduser:hadoop hadoop
相关推荐
更新发布
功能测试和接口测试的区别
2023/3/23 14:23:39如何写好测试用例文档
2023/3/22 16:17:39常用的选择回归测试的方式有哪些?
2022/6/14 16:14:27测试流程中需要重点把关几个过程?
2021/10/18 15:37:44性能测试的七种方法
2021/9/17 15:19:29全链路压测优化思路
2021/9/14 15:42:25性能测试流程浅谈
2021/5/28 17:25:47常见的APP性能测试指标
2021/5/8 17:01:11