試用hadoop jvm復用配置

2021-08-26 13:54:37 字數 550 閱讀 8310

hadoop預設為每個task(map task 或者reduce task) 啟動乙個jvm。

鑑於目前小檔案過多的問題,設定了jvm復用,即乙個job內,多個task共享jvm,避免多次啟動jvm,浪費資源和時間。

測試job資訊:

map:4715個

reduce:20個

input:34g

output:  25g

優化前:1464 s

優化後:1375 s

job執行時間減少6%

cpu使用率情況:

*注意:mapred.job.reuse.jvm.num.tasks這個引數是客戶端引數,修改不需要重啟tasktracker,可以在提交jobshell或者**中設定。

-- heipark

如何提高測試用例的復用性

問題描述 在階段編寫的 測試用例 少則幾百,多則過萬,花費時間很多,而且有相當一部分用例只執行一兩次,復用性不佳。這裡想討論一下如何提高用例的復用性,尤其是不同專案之間。系統測試 精彩答案 對於測試用例的復用,我想很多測試工程師都會非常有話說,系統變更頻繁,業務變化大,流不統一等等,很多現實存在的問...

stm32 IO復用配置

gpio pinafconfig gpioa,gpio pinsource9,gpio af usart1 gpioa9usart1解析 gpio為埠a的基址 gpio pinsource9 為埠9 gpio af usart1 復用對映,巨集定義為 define gpio af usart1 ui...

STM32 I O復用功能時鐘配置

為了優化64腳或100 腳封裝的外設數目,可以把一些復用功能重新對映到其他引腳上。設定復用 重對映和除錯i o 配置暫存器 afio mapr 實現引腳的重新對映。這時,復用功能不再對映到它 們的原始分配上。需要用到外設的重對映功能時才需要使能afio的時鐘 外部中斷 exti 中與afio有關的暫...