内容简介：这篇博客是关于如何在Hadoop MapReduce中进行Uber数据分析的。该数据有4列：
这篇博客是关于如何在Hadoop MapReduce中进行Uber数据分析的。
数据
数据展示
数据说明
该数据有4列：
- dispatching_base_number
- date
- active_vehicles
- trips
问题描述
计算每个Basement每个周几总共有多少trips
MapReduce实现
Mapper
在Mapper中 使用 java.time.LocalDate 来获取每个年月日具体是星期几，并将 Basement_number+dayofweek 作为keys， tripNum 作为value。
public static class ExtractTripMapper extends Mapper<Object, Text, Text, IntWritable>
{
private IntWritable tripNum; // trip 值
String specifyDate = "MM/DD/YYYY";
DateTimeFormatter formatter = DateTimeFormatter.ofPattern("M/d/y"); // date转化格式
LocalDate date;
String dayOfWeek;
public void map(Object key, Text value, Context context) throws IOException, InterruptedException
{
String[] splitArray = value.toString().split(","); // 对字符串进行切分
specifyDate = splitArray[1];
// 使用try来处理不和谐的数据
try{
date = LocalDate.parse(specifyDate,formatter);
dayOfWeek = date.getDayOfWeek().toString();
tripNum = new IntWritable(new Integer(splitArray[3]));
}
catch (DateTimeParseException e){
e.printStackTrace();
return;
}
context.write(new Text(splitArray[0] + "+" + dayOfWeek), tripNum);
}
}
Combiner&Reducer
之后就与WordCont相同，进行简单的统计和合并。
public static class SumReducer extends Reducer<Text, IntWritable, Text, IntWritable>
{
public void reduce(Text key, Iterable<IntWritable> values, Context context)
throws IOException, InterruptedException
{
int sum = 0;
for (IntWritable val : values)
{
sum += val.get();
}
context.write(key, new IntWritable(sum));
}
}
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
人月神话（英文版）
[美] Frederick P. Brooks, Jr. / 人民邮电出版社 / 2010-8 / 29.00元
本书内容源于作者Brooks在IBM公司任System/360计算机系列以及其庞大的软件系统OS/360项目经理时的实践经验。在本书中，Brooks为人们管理复杂项目提供了最具洞察力的见解，既有很多发人深省的观点，又有大量软件工程的实践，为每个复杂项目的管理者给出了自己的真知灼见。 大型编程项目深受由于人力划分产生的管理问题的困扰，保持产品本身的概念完整性是一个至关重要的需求。本书探索了达成......一起来看看 《人月神话（英文版）》 这本书的介绍吧!
Base64 编码/解码
Base64 编码/解码
Markdown 在线编辑器
Markdown 在线编辑器