配置单节点伪分布式Hadoop
作者:网络转载 发布时间:[ 2015/8/7 11:32:32 ] 推荐标签:软件测试管理
三.安装Hadoop
1.先把Hadoop文件搞到usr/hadoop1.2.1file下,然后进入该文件并解压。
<span style="font-family: 楷体; font-size: 18pt;">sudo tar -zxvf hadoop-1.2.1.tar.gz
//hxsyl是此时登陆的用户
sudo chown -hR hxsyl /usr/hadoop1.2.1file
</span>
2.配置环境变量
直接洁的别人图,可以复制jdk的环境变量,然后结合这个图,修改配置下ok。
3.设置安全外壳协议
推荐安装OpenSSH,Hadoop需要通过SSH来启动Slave列表中各台主机的守护进程,因此SSH是必需安装的。虽然我们现在搭建的是一个伪分布式的平台,但是Hadoop没有区分开集群式和伪分布式,对于伪分布式,Hadoop会采用与集群相同的处理方式,即按次序启动文件conf/slaves中记载的主机进程,只不过在伪分布式中Salve为localhost而已,所以对于伪分布式,SSH是必须的。
<span style="font-family: 楷体; font-size: 18pt;">//配置过程(首先确保连接上网络):
//安装SSH,在命令行输入如下
sudo apt-get install openssh-server
//配置可以免密码登陆本机
//在命令行输入(注意其中的ssh前面还有一个“.”不要遗漏)
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
(解释一下上面这条命令,ssh-keygen 代表生成密钥;-t 表示指定生成的密钥类型;dsa 是dsa密钥认证的意思;-P 用于提供密语(接着后面是两个单引号,不要打错);-f 表示指定生成密钥文件)
这条命令完成后,会在当前文件夹下面的.ssh文件夹下创建id_dsa和id_dsa.pub两个文件,这是SSH的一对私钥和公钥,把id_dsa.pub(公钥)追加到授权的key中去,输入如下命令:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
说明:一般来说,安装SSH时会自动在当前用户下创建.ssh这个隐藏文件夹,一般不会直接看到,除非安装好了以后,在命令行使用命令ls才会看到。
输入ssh localhost,显示登陆成功信息。
</span>
四.配置hadoop伪分布式
1.现在进入到安装Hadoop的文件夹,找到里面的conf文件夹,点击进去;配置hadoop环境文件hadoop-env.sh;打开文件,找到某行有”# export JAVA_HOME = ...” 字样的地方,去掉“#”,然后在等号后面填写你自己的JDK路径。
2.配置Hadoop的核心文件core-site.xml,打开文件,会发现标签<configuration></configuration>中是空的,在空的地方添加如下配置
<span style="font-family: 楷体; font-size: 18pt;"><property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hxsyl/tmp</value>
</property>
</span>
注意:在后一个value值中,上面是hxsyl,是因为那是我的用户名,所以你需要将那个修改为你自己的用户名。
3.配置Hadoop中MapReduce的配置文件mapred-site.xml,打开文件,会发现标签<configuration></configuration>中是空的,在空的地方添加如下配置
<span style="font-family: 楷体; font-size: 18pt;"><property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</span>
4.配置Hadoop中hdfs-site.xml的配置文件,同样的在标签<configuration></configuration>中加入一下代码
<span style="font-family: 楷体; font-size: 18pt;"><property>
<name>dfs.name.dir</name>
<value>/usr/hadoop1.2.1file/hadoop-1.2.1/datalog1,/usr/local/hadoop/hadoop-1.2.1/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/hadoop1.2.1file/hadoop-1.2.1/data1,/usr/local/hadoop/hadoop-1.2.1/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</span>
注意:若是直接打开修改后无法保存,那么
<span style="font-family: 楷体; font-size: 18pt;">sudo gedit ...................
</span>
五.格式化HDFS并启动Hadoop
1.首次运行hadoop必须进行格式化Hadoop文件系统,以后运行即可跳过。打开命令行,进入安装了Hadoop的文件路径下,然后在命令行输入
<span style="font-family: 楷体; font-size: 18pt;">bin/hadoop namenode -format
//格式化文件系统,然后启动Hadoop,在命令行里面输入
bin/start-all.sh
</span>
2.验证是否正常启动,在命令行里面输入jps,然后回车。
jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。
关闭hadoop
<span style="font-family: 楷体; font-size: 18pt;">bin/stop-all.sh </span>
3.运行自带WordCount在上一篇博文中有详细说明。
本文内容不用于商业目的,如涉及知识产权问题,请权利人联系SPASVO小编(021-61079698-8054),我们将立即处理,马上删除。
相关推荐
更新发布
功能测试和接口测试的区别
2023/3/23 14:23:39如何写好测试用例文档
2023/3/22 16:17:39常用的选择回归测试的方式有哪些?
2022/6/14 16:14:27测试流程中需要重点把关几个过程?
2021/10/18 15:37:44性能测试的七种方法
2021/9/17 15:19:29全链路压测优化思路
2021/9/14 15:42:25性能测试流程浅谈
2021/5/28 17:25:47常见的APP性能测试指标
2021/5/8 17:01:11热门文章
常见的移动App Bug??崩溃的测试用例设计如何用Jmeter做压力测试QC使用说明APP压力测试入门教程移动app测试中的主要问题jenkins+testng+ant+webdriver持续集成测试使用JMeter进行HTTP负载测试Selenium 2.0 WebDriver 使用指南