京東618 想想都興奮，很多商品要打折，這是我們從使用者處看到的映象
大家都摩拳擦掌期望在這天買到自己心儀又實惠的商品
但是作為京東的業務和研發人員來說 ，他們可能都已經連續三四天在公司待到凌晨2,3點
保證整個事件的正常有序進行
作為我個人而言是倉庫部門，壓力主要集中在離線資料的加工
我們知道在618 期間資料會成乙個高比率的速度增長 尤其是訂單量和配送資料
今天就簡單說下我們在今年618資料加工邏輯遇到乙個小問題 ---資料傾斜
想必看這個文章的您已經對數字傾斜已經是耳熟能詳了 ，就不必解釋了
這個問題在我們平時的資料加工中也存在 ，618 放大了這個問題 ，造成我們資料延遲 40分鐘
分析後是我們的訂單在關聯父訂單時候 ，父訂單很多的單號是null ，這個樣子
在關聯的時候 ，null 值會被傳送到乙個reduce 進行進行處理 ，而且null 值 接近整個資料的70%左右；
效率可想而知了 ，不佳
經過優化，把null 打散後 ，我們任務的執行時間是原來的 1/3 。
2018-06-21
一候鹿角解
二候蟬始鳴
三候半夏生
我的第乙個程式
我的第乙個vc程式終於寫完了，花了2周，之前從沒有用vc寫過程式，也沒讀過什麼程式，只是在看書，看了幾百頁 mfc windows程式設計 正好有個機會，老師讓寫個vc程式，就試著寫了。程式的功能是不同地方的access的更新的記錄整合到一台機子上的access中，支援斷網自動連線，用的是socke...
我的第乙個部落格
我是乙個有點脫離時代的年輕人，沒有iphone，不玩微博，沒有崇拜的明星，不是任何人的粉絲。前幾天我的乙個領導告訴我，應該多總結，可以開個微博，把記錄的東西時不時拿出來複習一下，慢慢就會積累出很多財富。所以我開了第乙個部落格，當然遠不如微博那麼新潮。我想感謝我的這位領導，在我的職業生涯中，他是我的領...
我的第乙個c
上機內容 c 程式的編寫和執行 上機目的 掌握簡單c 程式的編輯 編譯 連線和執行的一般過程 我的程式 cpp view plain copy print?程式的版權和版本宣告部分 檔名稱 test.cpp 作 者 徐威楊 完成日期 2014 年 10 月 28 日 版 本 號 v1.0 對任務及求...