51la**統計從2023年至今已經13歲了,這個年齡在網際網路行業裡面屬於高齡產品,要對他進行全面改造,需要很大的勇氣。51la統計自誕生以來一直都是免費使用,能運營到今天,一是廣大51la使用者的支援和信賴,二是廣告商的贊助。
主要原因有二:1、舊版51la是用asp寫的,現如今要招這類的人才非常難,做技術的都知道掌握有發展前景的技能才能提高自己的價值。1、還有海量的使用者對51la充滿情感和期待,我們不能辜負了他們。
2、我們想為站長提供更多符合當前網際網路營銷的資料分析工具。
2、支撐整個統計執行所需要的伺服器已經達到100多台,這十幾年來一直是阿江乙個人在維護,個人精力畢竟有限。
3、我們想要提供更多高階的功能(使用者畫像,熱力圖,事件轉化),在這套架構上繼續擴充套件所需要的成本太高。
當然還有很多問題就不一一枚舉,面對這些問題,我們首先進行新架構的設計:
1、使用hadoop分布式系統基礎架構,它提供高吞吐量來訪問應用程式的資料。
2、使用storm提供實時計算框架,讓統計資料流能實時接收、處理並儲存。
3、使用kafka作為分布式訊息緩衝佇列,它是效能卓越、吞吐量大的訊息佇列,同時能緩衝保持資料,保證後方的storm程式暫時的故障時資料不丟失。
4、使用mysql儲存處理好的統計資料,由於使用了mycat分片,使得海量資料儲存和查詢效能依舊不弱。
5、使用spark作為離線統計框架,統計一些離線資料,如排行榜。
6、使用hbase解決mysql無法儲存的場景,如每次請求的pv資料,這些資料僅單錶就高達每日十多億的資料量,同時hbase在查詢效能上也比較優秀。
我們同時在廣州成立研發團隊來做新版開發,阿江為確保新版介面不受其早期網際網路風格影響,決定不參與介面設計,只進行產品功能指導。介面改版這塊在內部中爭議最大,在有限的時間,大差異的架構上,我們沒辦法做到新舊版的介面風格共存,最終還是決定暫緩舊版ui介面的開發,使用新ui介面,保留操作的邏輯。
老站長應該都清楚舊版的js在移動端上面有很多問題,例如:廣告劫持,手機瀏覽器廠商攔截等,此次重寫js**,不再被一些國內瀏覽器廠商給當做廣告指令碼攔截,其次增加https支援,減少劫持的情況發生。
2018-01-06 正式進入新舊版過渡,期間需要保證新舊版的資料一致性,但我們低估了兩套架構之間的相容性,上線觀察一周時間,新版的資料比舊版少了將近三成,通過多方面排查發現兩邊的資料庫同步延時非常高,且網路超時導致新版的資料頻繁丟失,做了各種優化後,新舊版之間的資料差異縮小到0.001%。
2018-03-15 新版全面上線,意味著舊版介面不再提供訪問,如我們所預料,很多使用者顯得極為失望,要求舊版介面回歸,否則就改用其他產品,對於這種情況,我們小步快跑,快速迭代,不斷改進細化,這一年我們完成35個小版本更新,一周一版,13個中版本更新,兩周一版,51la從未停止過腳步,為廣大站長提供更多的服務。
截止今日,我們每月均遭到**20+**次的ddos攻擊,為了加強安全防禦,我們與華為雲合作,給整個系統增加ddod防禦及waf防火牆,確保系統穩定及資料安全。
超融合 2023年資料中心的那些事
2018 年的資料中心新聞集中 在超融合基礎設施 hci,hyper converged infrastructure 雲 cloud 和 人工智慧 ai,artificial intelligence 上 這些開發可以幫助管理員擴充套件其用於軟體定義的資料中心管理 雲設定和共享資源分配的工具集。以...
16年經歷的那些事
16年我好像經歷了好多的事情,但是又好像突然之間就什麼都想不起來了,感覺自己承擔了好多,有感覺其實什麼都沒有。16年我改變了很多,我學會自己乙個人坐車去遠地,以前都感覺自己根本不可能做到,其實我也是乙個從小被寵大的孩子,只不過與父母相處的時間太短了,上大學以來在家的時間特別短。16年重要時間點 上學...
那些年啊,那些事 乙個程式設計師的奮鬥史 51
分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!本以為英漢字典的程式已經沒有什麼大問題了,沒想到今天段伏櫪想查乙個單詞,卻發現事情根本就不是自己所料想的那麼順利 單詞的查詢速度太慢!這就奇怪了,之前為什麼沒有發現呢?說起來也讓人啼笑皆非。之前之所以沒發現這問題,是因為測試的時候,輸入的單詞都是以...