1. MapReduce 介绍1.1MapReduce的作用 假设有一个计算文件中单词个数的需求，文件比较多也比较大，在单击运行的时候机器的内存受限，磁盘受限，运算能力受限，而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难

一、前言 对于基于MapReduce编程范式的分布式计算来说，本质上而言，就是在计算数据的交、并、差、聚合、排序等过程。而分布式计算分而治之的思想，让每个节点只计算部分数据，也就是只处理一个分片，那么要想求得某个key对应的全量数据࿰

本节书摘来自华章计算机《Hadoop与大数据挖掘》一书中的第2章，第2.6节，作者 张良均 樊哲 位文超 刘名军 许国杰 周龙 焦正升，更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.6　TF-IDF算法原理及Hadoop MapReduce实现 2.6.1　TF-IDF算法原理