關于kmeans說在前面：kmeans算法有一個硬性的規定就是簇的個數要提前設定。大家可能會質疑這個限制是否影響聚類效果，但是這種擔心是多余的。在該算法誕生的這么多年里，該算法已被證明能夠廣泛的用于解決現實世界問題，即使簇個數k值是次優的ÿ

例如有兩個鍵值對 ?<“a”,1> ?和 ?<“a”,1>， 如果合并，會得到<“a”,2>， 歸并排序是穩定排序嗎？如果歸并，會得到<“a”,<1,1>>。

RAID用于兩個目的.根據RAID配置,您可以獲得：>更好的性能：讀取文件可以分布在多個磁盤上,也可以透明地使用不同的磁盤從同一文件系統中讀取多個文件.>容錯：使用多個磁盤上的奇偶校驗位復制或存儲數據.如果磁盤發生故障,可以從其他副本恢復,或使用奇

1 HDFS的權限管理介紹HDFS的權限管理分成2大部分：類似linux的基本權限管理(粗粒度)java權限管理系統？針對管理對象分三種：user、group、other方式的權限管理方式user:即目錄或文件的ownergroup:即上述owner所在的組other：其他用戶的統稱hdfs修改目錄權限

2019獨角獸企業重金招聘Python工程師標準>>> 本文章將詳細分析hadoop2.0的namenode ?HA的原理，以及部分源碼分析。 在2.0 的HA部分，我們可以看到相比原來的1.0，多了DFSZKFailoverController ，JournalNode 進程。 DFSZKFailoverControll

然后我們來看這個HDFS的優缺點, 先看他的優點: 高容錯性,前面我們說, 他默認給我們保存3份副本,每個文件都給我們保存3個副本. hdfs和hadoop的關系？ 如果3個副本中的某個副本掛掉了,他會再找一個節點,把內容copy過去,始終給我們保存3個副本, 保證了數據的安全性. Hadoop優勢

然后我們再來看一下HDFS的詳細組成,可以看到,這個HDFS 包含一個NameNode,一個DataNode 1.先看NameNode,他的作用是管理hdfs的名稱空間 2.配置副本策略,每個文件存幾個副本 hdfs和hadoop的關系。3.管理數據塊映射信息,就是管理哪些文件,存在了哪個datanode節點上 4.當有客戶端

hdfs命令？然后我們來用shell命令,操作一下完全分布式集群中的HDFS, 以前我們用的都是 /opt/module/hadoop-2.7.2/bin/hdfs dfs  現在我們也可以用 /opt/module/hadoop-2.7.2/bin/hadoop fs  了,其中dfs是fs的實現類. 我先看一下他都是有這些命令, 然后我們首先去啟

然后我們來用java,做一個客戶端,讓文件存到hdfs上去 可以看到首先,我們要準備好,01,在win10 下編譯過的hadoopjar包,上面有了 這個是根據自己的操作系統環境的,我這里用的是win7.   hdfs和hadoop的關系。可以看到上面也有個win7下面的hadoop的jar包,我們就用這個包來做。

我們再來編寫代碼。實現上傳文件到完全分布式的集群上面的hdfs去 我們要依賴我們win7上面的java程序,上傳到我們hadoop102為namenode節點的集群上面去. 我們去寫代碼