弹性分布式数据集(RDD)是一组不可变的JVM对象的分布集，可以用于执行高速运算，它是Apache Spark的核心。在pyspark中获取和处理RDD数据集的方法如下：python调用shell、1. 首先是导入库和环境配置(本测试在linux的pycharm上完成)import osfrom pyspark imp

首先需要安装Java下载安装并配置Spark从官方网站Download Apache Spark™下载相应版本的spark，因为spark是基于hadoop的，需要下载对应版本的hadoop才行，这个页面有对hadoop的版本要求，点击Download Spark:spark-2.3.1-bin-hadoop2.7.tgz就可以下载