文章目錄 spark簡介1、什么是spark2、為什么要學習spark3、spark特點 spark生態參考 spark簡介 1、什么是spark 基于內存的計算引擎，它的計算速度非常快。但是僅僅只涉及到 數據的計算 \color{#70f3ff}{\boxed{\color{green}{\text{數據的計算}}}}

Spark支持3種集群管理器(Cluster Manager)，分別為：1. Standalone：獨立模式，Spark原生的簡單集群管理器，自帶完整的服務，可單獨部署到一個集群中，無需依賴任何其他資源管理系統，使用Standalone可以很方便地搭建一個集

大數據分析是全樣本分析么，然后我們看看yarn的全部作業流程,可以看到右邊是一個Hadoop的集群,首先 有個namenode,這個我們說他記錄著每個文件都在什么位置,這些元數據信息,然后secondarynamenode,這個 也是記錄了元數據信息每個文件都存在什么位置了,這個可以說是namenode的

首先我們去測試HDFS的寫性能,可以看到,我們向HDFS集群寫入10個128M的文件 hadoop3.1.3。去測試 然后我們看,這里我們用到的是這個tests.jar這個命令的jar包來進行測試的,可以看到他會把多個文件, hdfs實驗總結，通過多個maptask,進行上傳,上傳的過程中,他會記錄,上傳文件的大