hadoop預設為每個task(map task 或者reduce task) 啟動乙個jvm。
鑑於目前小檔案過多的問題,設定了jvm復用,即乙個job內,多個task共享jvm,避免多次啟動jvm,浪費資源和時間。
測試job資訊:
map:4715個
reduce:20個
input:34g
output: 25g
優化前:1464 s
優化後:1375 s
job執行時間減少6%
cpu使用率情況:
*注意:mapred.job.reuse.jvm.num.tasks這個引數是客戶端引數,修改不需要重啟tasktracker,可以在提交job的shell或者**中設定。
-- heipark
如何提高測試用例的復用性
問題描述 在階段編寫的 測試用例 少則幾百,多則過萬,花費時間很多,而且有相當一部分用例只執行一兩次,復用性不佳。這裡想討論一下如何提高用例的復用性,尤其是不同專案之間。系統測試 精彩答案 對於測試用例的復用,我想很多測試工程師都會非常有話說,系統變更頻繁,業務變化大,流不統一等等,很多現實存在的問...
stm32 IO復用配置
gpio pinafconfig gpioa,gpio pinsource9,gpio af usart1 gpioa9usart1解析 gpio為埠a的基址 gpio pinsource9 為埠9 gpio af usart1 復用對映,巨集定義為 define gpio af usart1 ui...
STM32 I O復用功能時鐘配置
為了優化64腳或100 腳封裝的外設數目,可以把一些復用功能重新對映到其他引腳上。設定復用 重對映和除錯i o 配置暫存器 afio mapr 實現引腳的重新對映。這時,復用功能不再對映到它 們的原始分配上。需要用到外設的重對映功能時才需要使能afio的時鐘 外部中斷 exti 中與afio有關的暫...