Linux中的MyEclipse配置Hadoop
作者:网络转载 发布时间:[ 2015/6/23 11:45:09 ] 推荐标签:操作系统
6.此时可以看到左侧的工程浏览器下的DFS Locations下的MyHadoopServer的两个文件夹,一个叫home/hxsyl/tmp,这个是第5步配置的那个文件夹;另一个是user/root/In和Out。
这个root应该是第4步下的那个用户名,In和Out分别是赞运行WordCount的输入输出文件,运行WordCount需要命令行传参数,具体是邮件run-as、run configurations、parameters,然后输入(注意:必须先运行WordCount.java,然后提示少参数的错误,然后再run-as、run configurations、parameters,直接的话不显示parameters,这是奇怪)
<span style="font-family: 楷体; font-size: 18pt;">hdfs://localhost:9000/user/root/In
hdfs://localhost:9000/user/root/Out
</span>
注意:需要先把In文件上传到hdfs上,具体是:我在根目录(和usr同级)贱了testHadoop文件夹
<span style="font-family: 楷体; font-size: 18pt;">sudo mkdir testHadoop
</span>
然后进入到该文件夹
<span style="font-family: 楷体; font-size: 18pt;">//test1和2会自动在testHadoop文件夹下生成
echo “hello world” >test1
echo "hello hadoop" >test2
</span>
然后把文件上传到hdfs
<span style="font-family: 楷体; font-size: 18pt;">//此时在testHadoop所在文件夹,不过咱需要进入到Hadoop文件夹,主要是要用到hadoop这个命令
//不过不需要cd,切不可进入hadoop文件夹,因为上传那个文件要在那个文件的目录下
//因为咱直接./testHadoop,没写路径(自己理解的)。
usr/hadoop1.2.1file/hadoop-1.2.1/bin/hadoop fs -put ./testHadoop In
//注意:./testHadoop,如果按tab只能生成./testHadoop的话 ,他后面会多个/,一定要删除,In是上传到的hdfs上对应的文件夹
//想查看In内容,两种方法,一种是用下面的命令
usr/hadoop1.2.1file/hadoop-1.2.1/bin/hadoop fs -ls ./testHadoop
//另一种方法是(此时已经上传了hdfs),运行代码*(不管有没有错误都行,个人理解是简历和hdfs的链接,然后看到hdfs里的内容了),刷新DFS Locations,在user/root/In下会看到
</span>
7.配置好后,运行,结果在DFS Locations 的 user/root/Out下part-r-0000文件下,结果如下。
<span style="font-family: 楷体; font-size: 18pt;">hadoop 1
hello 2
world 1
</span>
注意:如果在命令行下运行WordCount需要(此时已上传到hdfs),需要先进入hadoop
<span style="font-family: 楷体; font-size: 18pt;">cd usr/hadoop1.2.1file/hadoop-1.2.1
</span>
然后运行代码如下
<span style="font-family: 楷体; font-size: 18pt;">//没试过WordCount,莫非命令行不区分大小写
bin/hadoop jar hadoop-examples-1.2.1.jar wordcount In Out
</span>
注意:此处的问题是,必须不能进入bin目录,我试过,进入的话运行不了了,真是奇怪了。
然后查看运行结果。
<span style="font-family: 楷体; font-size: 18pt;">bin/hadoop fs -cat ./Out/part-r-00000
</span>
三.结束语及遗留问题
3.1 遗留问题
1.如何直接从win复制到linux对应的文件夹,不用先复制到左面,在mv
2.xml类文件,有时候可以直接打开,编辑,保存,但有时后这样的话,那个save不可用,真是奇怪了,必须
<span style="font-family: 楷体; font-size: 18pt;">//这个是jdk的环境变量
sudo gedit /etc/profile
</span>
莫非是因为命令行终端不是root,应该不是这个问题,我每次进入ubuntu,先打开终端,然后进入root。
3.2 结束语
对照命令行和DFS Locations,这样理解很方便。
本文内容不用于商业目的,如涉及知识产权问题,请权利人联系SPASVO小编(021-61079698-8054),我们将立即处理,马上删除。
相关推荐
Linux下开源的DDR压力测试工具曝Linux恶意软件:让树莓派设备挖掘数字货币linux系统中不同颜色的文件夹及根目录介绍软件测试工程师必知必会Linux命令Linux下DNS服务器配置如何成为不可替代的Linux运维工程师?详解Linux进程(作业)的查看和杀死Linux 日志定时轮询流程详解比特币勒索病毒不只Windows系统有,Linux版的来了Linux日志定时轮询流程详解Linux iommu和vfio概念空间解构Linux系统如何低于TCP洪水攻击Linux无损调整分区大小Linux下防火墙配置实例Linux使用Jexus托管Asp.Net Core应用程序Linux中引号的那些事
更新发布
功能测试和接口测试的区别
2023/3/23 14:23:39如何写好测试用例文档
2023/3/22 16:17:39常用的选择回归测试的方式有哪些?
2022/6/14 16:14:27测试流程中需要重点把关几个过程?
2021/10/18 15:37:44性能测试的七种方法
2021/9/17 15:19:29全链路压测优化思路
2021/9/14 15:42:25性能测试流程浅谈
2021/5/28 17:25:47常见的APP性能测试指标
2021/5/8 17:01:11热门文章
常见的移动App Bug??崩溃的测试用例设计如何用Jmeter做压力测试QC使用说明APP压力测试入门教程移动app测试中的主要问题jenkins+testng+ant+webdriver持续集成测试使用JMeter进行HTTP负载测试Selenium 2.0 WebDriver 使用指南