转载自 | 简书原文链接 |http://www.jianshu.com/p/c97ff0ab5f49简介Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件&

分布式数据集创建之textFile 文本文件的RDDs能够通过SparkContext的textFile方法创建，该方法接受文件的URI地址（或者机器上的文件本地路径，或者一个hdfs://, sdn://,kfs://,其他URI).这里是一个调用样例： scala> val distFile = sc.textF

zookeeper单机多实例其实就是跑多个zk服务，以zkServer1为例，配置如下：其中192.168.29.128为虚拟机ip 很重要 dataDir=/virgil/zooserver/server1/data dataLogDir=/virgil/zooserver/server1/logs clientPort=2181 server.1=192.168.29