一:介紹
1.執行元件
2.併發度
就是executor數量
executor執行緒是物理執行緒
task是執行執行緒
二:增加併發度
三:worker層次
1.worker工作程序上
各個spout元件、bolt元件如果在**中沒有顯式指定由多少個executor執行緒來執行,那麼預設各由1個executor來執行
那麼併發度就是spout與bolt的個數加起來。
通過增加worker程序數量,可能可以提高併發效能(是可能,因為四個執行緒在搶占乙個程序),主要要求清楚整個topology有多少個executor執行緒
2.在worker程序上進行對比(worker=2)
3.效能問題
個數的確定需要看executor執行緒。
如果executor的個數是4,給值6,則不會提高效能。
乙個worker程序跑1到2個executor執行緒,效能更好。
4.**體現
這裡可以設定為2。
五:exeutor層次
1.executor執行緒層次
提高併發度,本質提高executor數量
executor數量的設定,針對具體某個元件 (spout、bolt)
globalgrouping 全域性分組, executor數量設定多個沒有什麼作用,就用1個
2.在**上體現
setspout的最後乙個引數是executor執行緒的引數。
setblot的最後乙個引數也是executor執行緒引數。
globalgrouping這種全域性分組,只需要設定1即可,多了也是沒有用。
六:task層次
1.task層次(很少設定)
是task執行執行緒
每個物理執行緒 executor預設情況只執行乙個task執行執行緒
2.**體現
8.為啥不常使用設定
每個物理執行緒 executor預設情況只執行乙個task執行執行緒
spout有4個
task,這4
個執行在2個
executor
上, 每個物理執行緒平均執行2個
task
並不能提高效能。
事務併發機制
注 原文 原子性 atomic 事務必須是原子工作單元 一致性 consistent 事務在完成時,必須使所有的資料都保持一致狀態。隔離性 insulation 由事務併發所作的修改必須與任何其它併發事務所作的修改隔離。永續性 duration 事務完成之後,它對於系統的影響是永久性的。通常為了獲得...
Storm之併發機制
為了提高storm的並行能力,通常需要設定並行。1.1 worker 程序 設定worker程序數 config.setnumworkers int workers 1.2 executor 執行緒 設定executor執行緒數 topologybuilder.setspout string id,...
Erlang併發機制 程序排程
erlang erlang排程器主要完成對erlang程序的排程,它是erlang實現軟體實時和程序之間公平使用cpu的關鍵。erlang執行時,有4種任務需要被排程 程序,port,linked in driver,erlang虛擬機器的系統級活動。erlang排程器主要有以下特點 1.程序排程執...