简单介绍一下项目背景——很简单，作死去接下老师的活，然后一干就是半个月，一直忙着从零基础到使用Hadoop中的MapReduce来解决一个实际问题，也就是用来计算一个数据量较大的二度朋友关系。
那么首先是我的上一篇博文：Hadoop之初体验
上一篇博文是将所有的准备前的环境搭建起来了，接下来就HDFS的一些基本的命令操作，那么这些命令如果是想要使用Hadoop的话，那么你就应当熟练的使用（类似于Linux中的命令，那么使用时稍微参考一下，时间不长就能够熟悉）
下边开始介绍MapReduce。
hadoop中mapreduce、为了介绍MapReduce，我在这里提出来三个问题
问题一：如何统计一个字符串中出现的所有的小写字母出现的次数？
问题二：如何统计一个文件中所有单词出现的次数？
问题三：如何统计多个文件中所有单词出现的一个次数？
好的面对问题一我设计了一个c语言的程序代码，同时将其运行结果展示出来
1 #include <iostream> 2 #include <stdlib.h> 3 #include <string> 4 #include <string.h> 5 6 #define MAX_LENGH 100 7 using namespace std; 8 char str[MAX_LENGH]; 9 int count[26]; 10 int main() 11 { 12 for(int i = 0;i < MAX_LENGH;i++){ 13 14 str[i] = (char)('a' + rand()%26); 15 cout<<str[i]; 16 } 17 str[MAX_LENGH] = '\n'; 18 cout<<str<<endl<<"下面开始匹配"<<endl; 19 ///将结果初始化 20 for(int i = 0;i < 26;i++)count[i] = 0; 21 for(int i = 0;str[i]!='\n';i++){ 22 count[str[i] - 'a']++; 23 } 24 cout<<"Every char and it's time(s):"<<endl; 25 for(int i = 0;i < 26;i++){ 26 cout<<(char)('a'+i)<<" : "<<count[i]<<endl; 27 } 28 return 0; 29 }
phqghumeaylnlfdxfircvscxggbwkfnqduxwfnfozvsrtkjprepggxrpnrvystmwcysyycqpevikeffm znimkkasvwsrenzkycxfphqghumeaylnlfdxfircvscxggbwkfnqduxwfnfozvsrtkjprepggxrpnrvy stmwcysyycqpevikeffmznimkkasvwsrenzkycxf下面开始匹配 Every char and it's time(s): a : 2 b : 1 c : 5 d : 2 e : 5 f : 8 g : 5 h : 2 i : 3 j : 1 k : 6 l : 2 m : 4 n : 6 o : 1 p : 5 q : 3 r : 6 s : 6 t : 2 u : 2 v : 5 w : 4 x : 5 y : 6 z : 3Process returned 0 (0x0) execution time : 0.149 s Press any key to continue.
hadoop伪分布式和完全分布式的区别？可以看到，代码的一个关键之处就将ascii对应的小写字母和数组的下标进行了一个简单的映射，最后使得统计起来极为方便，只要通过数组下标来访问就可以成功了。
关键代码：
for(int i = 0;str[i]!='\n';i++){ count[str[i] - 'a']++; } cout<<"Every char and it's time(s):"<<endl; for(int i = 0;i < 26;i++){ cout<<(char)('a'+i)<<" : "<<count[i]<<endl; }
好的，我们接着处理问题二：
如何统计一个文件中的所有单词的一个数量。
hadoop完全分布式搭建步骤。如何统计呢？我们就会设想，能不能像上一个问题的处理方式一样，也直接使用下标的方式来访问，然后每次对应一个就加一？显然不行，在我们的语法中没有这种形式？？？有的，在C++中或者在Java中，我们可以使用一个map容器，其中有一个键值对，也就是说来保存一个key和一个value的键值对，最后如同上一题一样将问题处理好
第三问：如何面对同一个问题，我们对多个文件进行处理呢？
在这里我就不提出一个很好的答案了，因为我自己也不知道。我只能给大家一些馊主意，比如说，多次运行上一个程序，一个个的访问文件，将文件中的所有的单词都统计完。或者呢，将所有的文件拼成一个文件，最后再对这个文件进行访问。
好的问题提出来了，然后也给解决了，那么现在就来提出我们一个MapReduce的背景
大计算量，然后短时间计算出结果，同时可以处理一些复杂的问题。
hadoop分布式和伪分布式的差别。下边我将会从概念，实现步骤和简单的实例对其进行介绍
概念
不想说太多，网上随便找找就有非常多的案例
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。
那么这里我要推荐两个东西，第一个是相对比较生活化的介绍MapReduce，也就是《给老婆讲讲什么是MapReduce》，好像挺火的一篇博问，随便百度一下就能找到
然后第二个就是谷歌，为啥提谷歌呢，毕竟是MapReduce的爸爸吧，谷歌的三篇论文中有一个就是专门讲解MapReduce的
好的，我来说一下实现步骤
这里我上传一些图片供大家参考
这张图片要注意的就是一个控制的命令流，还有一个就是数据流，两个流的一个流向
这张图片是MapReduce的一个简单案例，wordcount的实现原理
第一步：程序将数据拆分成splits，由于测试用的数据较小，所以每个文件就是一个split，并将文件拆分成<key,value>键值对，这里的key是包括回车在内的字符数的偏移量，value的值为一行文字。 第二步：将分割好的<key,value>键值对交由map()方法进行处理，生成新的键值对<'',1>(其中的''表示的是一个单词) 第三步:得到map()方法输出的<world,1>对，Mapper会将他们按照key值进行排序，并执行Combine过程，将key值相同的value值进行相加，得到Mapper的最终结果 第四步:Reduce先对从Mapper接收的数据进行排序，再交由用户自定义的reduce方法按照相同的键值把数形成累加，新成新的键值对
Shuffle过程优化Map端的shuffle优化Reduce端的shuffle优化
任务执行推测执行任务jvm重用跳过坏的记录任务执行的信息
故障处理任务失败（分为map或reduce任务失败及子进程jvm突然退出）TaskTracker失败JobTracker失败任务失败重试的处理方法
作业调度先进先出调度器能力调度器公平调度器
MapReduce编程接口
MapReducer编程开发 好的，最后介绍一个具体的数据操作
第一步是我们的wordcount
那么首先我们是使用在Hadoop中的一个默认的一个example中的jar包进行wordcount实验
[root@master wordcount_in]# cat * hello world hello hadoop hello nice to meet you my name is zhangjie 以上步骤均为准备输入数据文件
好的，今天先写到这里，后期有时间我将简单为大家介绍一下我那个二度人脉的统计项目
