hadoop效能測試命令

2022-07-16 18:15:13 字數 547 閱讀 6906

1、測試hadoop寫的速度

向hdfs檔案系統中寫入資料,10個檔案,每個檔案10mb,檔案存放到/benchmarks/testdfsio/io_data中

hadoop  jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar testdfsio -write -nrfiles 10 -filesize 10mb

2、測試hadoop讀檔案的速度

在hdfs檔案系統中讀入10個檔案,每個檔案10m

hadoop  jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar testdfsio -read -nrfiles 10 -filesize 10mb

3、刪除臨時檔案

hadoop  jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar testdfsio -clean

Hadoop之wordcount效能測試

概述 利用wordcount做hadoop效能測試,依據count的資料規模增長進行效能分析評測 版本 bin hadoop version hadoop 2.3.0 cdh5.0.0 測試步驟 1.利用randomtextwriter生成指定規模的測試集合 2.執行wordcount nohup ...

效能測試 top命令

1 top命令 相當於windows下的資源管理器,能夠動態實時的顯示系統中程序的資源占用情況。2 在linux終端上輸入top命令出現的結果及其表示的含義如下圖 順便說一下uptime命令 3 以上是預設的顯示內容,可以通過快捷鍵來更改顯示的內容 1 按f鍵 會顯示如下列表 選a z鍵就可以顯示或...

Linux效能測試 free命令

命 令 free 功能說明 顯示記憶體狀態。語 法 free bkmotv s 間隔秒數 補充說明 free指令會顯示記憶體的使用情況,包括物理記憶體,虛擬的交換檔案記憶體,共享記憶體區段,以及系統核心使用的緩衝區等。參 數 b 以byte為單位顯示記憶體使用情況。k 以kb為單位顯示記憶體使用情況...