豆瓣的基礎架構

離線部分則包括資料探勘、資料分析等，技術元件分別是海量分布式檔案系統moosefs，這個文件系統的結構類似hdfs，用c語言編寫，其好處在於fuse模組實現的比較好，用檔案系統就可以直接進行操作，而不需要專門的命令，可以支援的資料量也很大。另外就是自己開發的分布式計算平台dpark。dpark繼承了spark可以使用記憶體做為快取加速分布式計算這個優點，在豆瓣的應用場景下，因為我們的離線計算很多是推薦演算法計算，這種計算涉及大量的迭代演算法，如果每次計算的結果都入磁碟再在下一輪計算載入，那效能是很差的，所以dpark能夠大幅提公升效能

對於新技術的引入上，豆瓣整體是比較偏激進的，鼓勵大家去看看新的技術。當然也不會看到新的就上，這裡面有一些限制：乙個是比較重要的服務如果要上新的技術，一定要有成功案例，且成功案例有跟我們量級差不多的規模，這樣可以降低風險；另乙個是對於引入的新技術一定要吃透——大部分引入的技術肯定是要做二次開發的，所以拿進來的技術你必須保證能完全理解它的**結構，出了問題能修，能去掉自己無法掌控的東西。

參看：雲時代架構筆記