应用MapReduce制作压测利器(8)

自定义信息1

26-Oct-2013 22:41:41

 

 

10

task_xx_m_2

自定义信息2

26-Oct-2013 22:41:41

 

 

10

　　更多的执行过程信息，我们则通过“org.apache.commons.logging.Log”来收集，通过tasklog页面可以查阅到这些详细的日志信息。

　　作为map task的输入，我通过在hdfs上生成的一堆随机数据来实现，InputSplit类读取了hdfs上作为模拟真实数据的输入后，将其根据map数切分成n份(n=自定义的map数量)，并将其分发给对应的map task，map task拿到自己那份数据后，立即启动多个线程执行上述测试工具代码：

public void map(LongWritable key, List<Pair> value, OutputCollector<Text, LongWritable> context, Reporter reporter) throws IOException { 。。。。。。 for(int i=0; i < this.threadnum; i++){ SCNThread t = new SCNThread(value, reporter, start, this); t.start(); this.alivethread.addAndGet(1); } 。。。。。。

原文转自：http://www.taobaotest.com/blogs/2515