DataFrame是一個組織成命名列的數據集。它在概念上等同于關系數據庫中的表或R/Python中的數據框架，但其經過了優化。DataFrames可以從各種各樣的源構建，例如：結構化數據文件，Hive中的表，外部數據庫或現有RDD。DataFrame API 可以被Scala&#

彈性分布式數據集（Resilient Distributed Dataset），簡稱 RDD，RDD 是 Spark 所提供的最基本的數據抽象，代表分布在集群中多臺機器上的對象集合。Spark 有兩種方法可以創建 RDD： 用 SparkContext 基于外部數據源創建 RDD，外部

RDD Transformation特點 lazy 只記錄操作，不計算結果，類似于tensorflow中圖的概念 轉換含義map(func)返回一個新的RDD，該RDD由每一個輸入元素經過func函數轉換后組成filter(func)返回一個新的RDD，該RDD由經過func函數計算后返回值為true的輸入元素