Jstorm最佳實踐

2021-08-10 08:50:41 字數 528 閱讀 9531

在實際計算中,常常發現需要做資料訂正,因此在設計整個專案時,需要考慮重跑功能

如果使用trasaction時,增加kafka/meta時, brokerid要按順序,即新增機器brokerid要比之前的都要大,這樣reassign spout消費brokerid時就不會發生錯位。

非事務環境中,盡量使用ibasicbolt

計算併發度時,spout 按單task每秒500的qps計算併發

全記憶體操作的task,按單task 每秒2000個qps計算併發

有向外部輸出結果的task,按外部系統承受能力進行計算併發。

對於metaq 和 kafka,拉取的頻率不要太小,低於100ms時,容易造成metaq/kafka 空轉次數偏多,一次獲取資料block大小推薦是2m或1m,太大記憶體gc壓力比較大,太小效率比較低。

條件允許時,盡量讓程式可以報警,比如某種特殊情況出現時,比如截止到凌晨2點,資料還沒有同步到hadoop,傳送報警出來

從jstorm 0.9.5.1 開始, 底層netty同時支援同步模式和非同步模式,

最佳實踐 Flutter 最佳實踐

最佳實踐是乙個領域可以接受的專業標準,對於任何程式語言來說,提高 質量 可讀性 可維護性和健壯性都非常重要。讓我們探索一些設計和開發flutter應用程式的最佳實踐。class enum typedef和extension應採用駝峰命名uppercamelcase規則。class mainscree...

JUnit最佳實踐

junit最佳實踐 cherami 轉貼 參與分 20053,專家分 4960 發表 2003 9 16 下午7 57 版本 1.0 閱讀 3899次 martin fowler說過 當你試圖列印輸出一些資訊或除錯乙個表示式時,寫一些測試 來替代那些傳統的方法。一開始,你會發現你總是要建立一些新的f...

SVN最佳實踐

楊爭 subversion是新一代的版本控制工具,由於其優於cvs的一些特點,得到了越來越多人的關注和使用,本人根據自己使用svn的經驗,寫了這篇文章,希望對大家有所幫助,其中有些實踐並不是僅僅適用於svn,對其他版本控制工具也是適用的。1 養成良好的記錄日誌的習慣.svn ci提交,最好在日誌中記...