在做實時數倉的時候，我們需要保證提高消費能力和資料有序，那如果要用flink sql 和 kafka互動，就會出現如下兩個問題：
flink sql 通過ddl讀取和寫入kafka怎麼設定並行度呢？
flink sql 通過ddl寫入kafka怎麼自定義分割槽呢？
首先我們知道flink sql不支援不支援相關的設定，但是可以通過env或配置檔案設定所有運算元的並行度。同時kafka預設分割槽有序，所以source的併發一般小於等於kafka的partition數，理想狀態是1：1。sink的併發一般也是和輸出topic相關，如果要保證有序，可以按key進行分割槽，保證資料均勻可以自定義分割槽策略，比如roundrobin、shuffle等。
Flink SQL 如何實現列轉行
在 sql 任務裡面經常會遇到一列轉多行的需求,今天就來總結一下在 flink sql 裡面如何實現列轉行的,先來看下面的乙個具體案例.需求原始資料格式如下 name data jasonlee data 格式化 現在希望得到的資料格式是這樣的 name content type urljasonl...
質量如何保證
讀書主要是為了緩解非利益既得者的焦慮，有人懂嗎？之前對於質量的把控，主要是從 層面，從實現機制 業務邏輯 編碼規範等方面去用功，直到最近才忽然想到這可能是個謬論，只關注了乙個孤立的體系，說是閉門造車也不為過。傳統的生產製造領域早就有qc和qa，而對於像我們這種經歷的網際網路創業人員團隊，對於這一塊是...
如何保證編碼規範
如何保證 規範 第一步當然是有乙個 規範文件 很多人認為只要有了 規範文件 就規範了，這個是打錯特錯了。規範文件只是 規範的第一步。下面介紹如何保證 規範的步驟。一 還是建立 規範文件 二 新員工學習方法 2 要做習題 給幾個不是很標準的 檔案，要求新員工找出至少3處有問題的地方 這個比寫測試題簡單...