hadoop3.1.3，大數據之-Hadoop3.x_生產調優手冊_HDFS讀寫壓測---大數據之hadoop3.x工作筆記0162

首先我們去測試HDFS的寫性能,可以看到,我們向HDFS集群寫入10個128M的文件

hadoop3.1.3。去測試

然后我們看,這里我們用到的是這個tests.jar這個命令的jar包來進行測試的,可以看到他會把多個文件,

hdfs實驗總結，通過多個maptask,進行上傳,上傳的過程中,他會記錄,上傳文件的大小以及,上傳文件的時間,這樣,就能得出

這個上傳的速度了,大小 除以 時間對吧.

hadoop實訓報告心得體會？然后平均速度,這里有兩種算法,一種是:

每個maptask記錄,文件的大小,上傳時間,然后會總到reducetask,

然后,這里reducetask會把所有的文件的大小,除以總的時間這樣算出一個平均速度.

hadoop實驗報告、

然后還有一種是:就是每個maptask的平均速度 去除以 所有的的maptask的個數...這樣得出的一個平均速度

原則上這兩種算法的結果應該是差不多,如果相差的多的話,可能是其中的某臺服務器的性能,跟別的服務器差別挺大.