以下是twitter所使用的開源專案,簡要瀏覽之後,我覺得是乙個很好的關於分布式架構,大資料,非同步網路傳輸(客戶端,服務端)學習的list,做個備份,以便後用。
1. 分析和搜尋服務
twitter的搜尋服務每天支援超過10億次的查詢,其背後的開源專案包括:
2. 伺服器和儲存
twitter需要將每天使用者傳送的推文儲存到資料庫,並推送給其他相關的使用者。該過程用到的開源專案包括:
3. twitter工程師的工具箱
4. twitter背後的程式語言和框架
5. twitter的前端解決方案
6. twitter服務開發框架
important remarks: thrift 這篇文章對thrift做了綜合性的介紹,值得我思考的是這篇文章:「thrift與其他框架的比較」,以前對於分布式系統中的服務開發框架,我一直在想為什麼不用rest或者webservice來進行通訊?而主流的卻是選擇rpc? 文章用圖表來展示了thrift在網路傳輸效能上與rest-jason,xml的優勢。所以,是不是可以這樣理解:thrift從協議的定義上就使用了高效壓縮資料格式tcompactprotocol(就算不用壓縮,只用tbinaryprotocol 二進位製流的資料格式,其傳輸效能也高於jason和xml),從而避免了傳輸,序列化jason或者xml 造成的代價。
twitter公司所開源的專案
twitter從開源社群中獲得了大量的好處,而twitter也在不斷地回饋社群,開源了大量基礎設施和工具,使得其他企業和開發者不必重新發明輪子,在這些開源專案的基礎上更加快速地實現自己所需。
1. 大資料處理
2. 前端專案
3. 後端服務
4. twitter基礎設施通用庫
翻譯 Twitter背後的開源技術
原文 the open source technology behind twitter 如果沒有開源軟體,twitter將不會存在。你傳送和接收的每乙個tweet在移動端和pc端傳送的過程中,都會需要開源軟體。我們非常好奇twitter使用了多少開源軟體。除此之外,我們想要知道開源對twitter...
開源專案IPProxys的使用
前幾天看了一下github上,ipproxys開源專案 快100star了,看來大家對這個專案還是比較感興趣的。最近一直沒更新文章,主要是忙實驗室的工作和寫乙個之前給大家提到新的開源專案,我將它命名為powerproxy,寫的過程中遇到了很多問題,算是乙個不錯的學習經歷,對sock5協議,windo...
使用開源專案集錦
sandcastle是微軟官方的文件生成工具。它從dll檔案及其xml注釋檔案能夠生成完整的幫助文件,支援多種生成格式 helpe1x chm,helper2x hxs,website,helperview 結合新發布的sandcastle help file builder視覺化工具,整個生成過程...