昨晚搞到1點，終于linux裝好。具體步驟如下： 鑒于我是初學，還是離不開windows的，先裝了個虛擬機，通過虛擬機來學習linux。 1.在網上下載Vmware workstation安裝，百度有最新版本。這個安裝時在網上搜來了10的序列號。 2.在ubuntu官網

　　Spark on YARN的原理就是依靠yarn來調度Spark，比默認的Spark運行模式性能要好的多，前提是首先部署好hadoop HDFS并且運行在yarn上，然后就可以開始部署spark on yarn了，假設現在準備環境已經部署完畢，這里是在CDH 環境下部署Spark 　　

在Docker中部署ShowDoc 一、安裝Docker 1、安裝Docker centos 安裝docker，yum install docker 最后出現Complete即可 2、啟動服務 #?service docker start 3、設置為開機啟動 #?chkconfig docker on windows環境官網下載地址 二、安裝git # yum install git ? 最后出現Comple

spark streaming的相關概念： sparkstreaming去重。　　spark的核心是創建一個RDD對象，然后對RDD對象進行計算操作等 　　streaming可以理解為是 一個連續不斷的數據流 ，然后將每個固定時間段里的數據構建成一個RDD，然后就會創一連串的RDD流࿰