且flume端的消費組一直在rebalance。
嘗試調整引數
flume sink 檔案依舊為空，再次調大此引數依舊沒用，flume的consumergroup依舊顯示在rebalancing
因為之前出現過類似isr缺失的現象，當時增大了此引數
num.replica.fetchers-------leader中進行複製的執行緒數，增大這個數值會增加relipca的io
預設是單執行緒，當時增加到2
但是這次的問題kafka的server.log沒有任何error，能看到的只有nifi生產端的無法生產的error日誌（連線broker失敗），以及flume消費端的大批量info日誌（consumer group is rebalancing）
抱著試一試的方式將幾十台broker中的兩台num.replica.fetchers引數修改為4，增大了一倍，然後重啟broker
由於資料量比較龐大，且此broker正在重啟，kafka server.log報錯如下
屬於正常狀況，耐心等待重啟的broker中副本加入到isr中即可
之後發現flume的sink檔案大小有所增加，證明開始消費了。
最後滾動重啟所有broker，flume恢復消費，nifi後續生產也不報錯了。
kafka的isr同步能力引數見鏈結解決isr丟失—— kafka副本同步leader能力引數
遇到類似isr缺失的問題可以嘗試調整這些引數來解決
科普「知識共享」嚴重缺失，國內亟待補課
在我們國內，知識共享 概念混亂，甚至胡說八道，嚴重阻礙了科技創新與發展。向全國高校五次輪番投放 知識共享 數位化微積分教科書的目的之一就是藉此深入科普 知識共享 請參閱本文附件，即可知一斑。袁萌 陳啟清 12月3日 附件 知識共享組織發布 2016年共享領域情況報告 知識共享組織近日發布了 2016...
如何解決缺失值
datapreparation包括抽取，清洗，轉換，整合。這個過程會占用大量的時間，資料質量本身的差異和完整的資料空間問題往帶來很多麻煩。如何處理缺失值和特殊值？首先我們定義的缺失值不是資料庫中的null值，它包括數值缺失和特殊數值。假如你要使用乙個資料庫中沒有的資料，要花時間賦值轉化成規定的值。這...
Linux UDP嚴重丟包問題的解決
測試系統在linux上的效能發現丟包率極為嚴重，發210000條資料，丟包達110000之巨，丟包率超過50 同等情形下windows上測試，僅丟幾條資料。形勢嚴峻，必須解決。考慮可能是因為協議棧buffer太低所致，於是先看看預設情況 sysctl a grep net.core 發現net.co...