您的位置:软件测试 > 开源软件测试 > 开源单元测试工具 >
使用MRUnit实现MapReduce程序的单元测试
作者:网络转载 发布时间:[ 2013/4/3 14:05:25 ] 推荐标签:

Hadoop的MapReduce程序的测试,一直比较麻烦。因为不方便抽取出来,作为独立的Junit测试。所以很多时候,我们都是写一个Main函数,

然后在里面手工调用Map或者Reduce,用System.out.println打印出结果,人眼测试,而且还要判断OutputCollector是否为空,不然直接

Main调用还会抛NullPointerException。
这样大的弊端,是无法实现自动化的断言判断,达到测试驱动和检查的目的。那么对程序的任何改动,都需要放到Hadoop集群上,跑个十

几分钟才能肯定到底对不对。我们需要一个更快的方法,能够方便的自动化的对MR程序进行测试,从而达到测试驱动和敏捷开发的状态。
What’s MRUnit:
MRUnit是由Couldera公司开发的专门针对Hadoop中编写MapReduce单元测试的框架,基本原理是JUnit4和EasyMock。MR是Map和Reduce的缩

写。MRUnit框架非常精简,其核心的单元测试依赖于JUnit。而且MRUnit实现了一套Mock对象来控制OutputCollector的操作,从而可以拦截

OutputCollector的输出,和我们的期望结果进行比较,达到自动断言的目的。
Why MRUnit:
有了MRUnit,对MR程序做重构的时候,只要明确输入和输出,可以写出单元测试,并且在放到群集校验前进行试验,从而节省时间和资源

,也能更快的定位到问题。
而进行重构的话,只要写得足够详细的单元测试都是绿色的话,那么基本可以保证在群集运行的结果也是正常的。
How MRUnit:
MRUnit不在Apache标准的Hadoop的发行版中,而是在Couldera公司的增强版本中hadoop-0.20.1+133.tar.gz的contribmrunithadoop-

0.20.1+169.56-mrunit.jar,已经贴在附件中。只要把它和Junit4的jar添加到Hadoop程序项目的classpath中,可以使用MRUnit了。
MRUnit包含四种Driver:MapDriver,ReduceDriver,MapReduceDriver,PipelineMapReduceDriver。可以根据自己的需要选择合适的

Driver。
MRUnit Example:

给出一个Reduce的很简单例子,Reduce的逻辑是把Value中的各个值相加。

public class ExtractKeywordTest {
private Reducer<Text, Text, Text, Text> reducer;
private ReduceDriver<Text, Text, Text, Text> reduceDriver;
@Before
public void setUp() throws Exception {
reducer = new ExtractKeywordAcookie.Reduce();
reduceDriver = new ReduceDriver<Text, Text, Text, Text>(reducer);
}
@Test
public void testReduce() {
List<Text> values = new ArrayList<Text>();
values.add(new Text(1.0_0.1));
values.add(new Text(2.0_0.2));
values.add(new Text(3.0_0.3));
reduceDriver.withInput(new Text(20100106_00_IBM), values)
.withOutput(new Text(20100106_00_IBM_6.00_0.60_), null)
.runTest();
}

软件测试工具 | 联系我们 | 投诉建议 | 诚聘英才 | 申请使用列表 | 网站地图
沪ICP备07036474 2003-2017 版权所有 上海泽众软件科技有限公司 Shanghai ZeZhong Software Co.,Ltd