聽講座 百度和豆瓣架構師分享Web開發的藝術

2021-08-30 14:19:53 字數 536 閱讀 8926

豆瓣的哥們不錯。

其中說:mogilffs不適合做??, 是他們開發beansdb的動力。

他們也用了mfs儲存日誌,他說mfs可以和hadoop一起???

其實個人覺得它們對beansdb的需求(做小檔案儲存,總共12t左右,metadata??個)完全可以用mfs滿足.

我問了一下這位哥哥,他說mfs的mds可能承受不了壓力,還有當檔案數量大了,可能mds放不下

但是我看他們的beansdb所承受的壓力大約是90hit/s,mfs的mds是可以承受的。

mfs master:

這麼說:3g可以10 m檔案

記憶體用16g,大概可以搞4千萬個檔案

beansdb的乙個好處是不需要中心伺服器,只有client和chunkserver,蠻有意思的,client通過乙個演算法,從檔名,對映到所在的伺服器(採用類似memcached的去中心化結構,在客戶端實現資料路由 ),有冗餘

使用memcache協議訪問。

這哥們建議不要搞多機房,而是搞乙個環境比較好的機房,因為維護簡單。不需要同步。--確實

百度架構師手把手教深度學習之心得

這讓我認識到paddlepaddle系統的強大。乙個人,只要有心想學習ai,無論處於什麼階段,都可以在paddlepaddle這個百寶箱裡找到適合自己的工具。比如 毫無程式設計經驗的人可以使用paddlex ui 有程式設計經驗,但對ai模型所知不多的可以玩轉paddlehub和paddlex 在學...

百度架構師手把手帶你零基礎實踐深度學習 學習心得

我5年前就接觸ai,深度學習了。我是從事金融量化開發工作的,一直想利用ai來進行量化 當時模型比較簡陋,我做了一些量化方面的ai開發實驗,發現效果真不行。還不如直接自己想策略來實現呢!隨著時間一年一年的過去,人工智慧ai,逐漸成熟。後來發展出很多非常厲害的演算法 模型。我又重新燃起了希望。又開始好好...

《百度架構師手把手帶你零基礎實踐深度學習》學習體會

如果想對機器學習和深度學習進行學習,我個人建議還是先補充基本的理論知識,可以在b站上搜尋浙大的研究生機器學習課程,其次很多大佬的課程也都可以搜尋到。之後可以在與飛槳配套的學習平台ai studio上進行公開課的學習,從機器學習 深度學習 強化學習到遷移學習都有詳細的公開課訓練營,每天可領取12小時的...