kafka上儲存的binlog未帶schema，而hive表必須有schema，並且其分割槽、欄位等的設計，都要便於下游的高效消費。對camus做的第乙個改造，便是將kafka上的binlog解析成符合目標schema的格式。
checkdone的檢測邏輯
checkdone是怎樣檢測的呢？每個kafka2hive任務成功完成資料傳輸後，由camus負責在相應的hdfs目錄下記錄該任務的啟動時間。checkdone會掃瞄前一天的所有時間戳，如果最大的時間戳已經超過了0點，就說明前一天的kafka2hive任務都成功完成了，這樣checkdone就完成了檢測。
checkdone的檢測邏輯
checkdone是怎樣檢測的呢？每個kafka2hive任務成功完成資料傳輸後，由camus負責在相應的hdfs目錄下記錄該任務的啟動時間。checkdone會掃瞄前一天的所有時間戳，如果最大的時間戳已經超過了0點，就說明前一天的kafka2hive任務都成功完成了，這樣checkdone就完成了檢測。
總結：
雲時代架構讀後感一
給飛行中的飛機換引擎 作者用飛機換引擎作為乙個例子。把給飛行中的飛機 或飛馳的汽車 換引擎說成我需要對乙個正在飛速發展的系統進行大幅度的架構改造。分為這3種 在做換引擎方案選擇和設計的時候需要考慮到這麼幾個現實的情況 作者對安全也有深刻的見解，列舉了十大原則 1 安全問題是木桶效應。整個系統的安全程...
雲時代架構讀後感（十五）
隨著電商業務開展和業績增長，系統結構和邏輯變得越來越複雜。為應對業務規模和複雜性的增長，需要將系統按照細分專業領域拆分 為應對流量和交易的增長，需要將 進行大量子站拆分。這種狀況下，soa在保持清晰的系統結構和良好的邏輯組織方面提供了有力保障，為業務優化調整及新業務的開展帶來巨大收益。通過服務封裝和...
雲時代架構讀後感（十）
12306也是乙個電商系統，而且看起來商品就是票了。因為如果把一張票看成是乙個商品，那購票就類似於購買商品，然後每張票都有庫存，商品也有庫存的概念。但是如果我們仔細想想，會發現12306要複雜很多，因為我們無法預先確定好所有的票，如果非要確定，那只能通過窮舉法了。作者提出的解決思路。總結 這篇文章，...