twisted是用python實現的基於事件驅動的網路引擎框架。twisted誕生於2000
年初,在當時的網路遊戲開發者看來,無論他們使用哪種語言,手中都鮮有可兼顧擴充套件性及跨平台的網路庫。twisted支援許多常見的傳輸及應用層協議,包括tcp、udp、ssl/tls、http、imap、ssh、irc以及ftp。twisted實現了設計模式中的反應堆(reactor)模式,這種模式在單執行緒環境中排程多個事件源產生的事件到它們各自的事件處理例程中去。
資料:python twisted介紹
twisted的入門講解(很不錯)
twisted
twisted-mqtt-client
nginx是一款輕量級的web 伺服器/反向**伺服器及電子郵件(imap/pop3)**伺服器,並在乙個bsd-like 協議下發行。其特點是占有記憶體少,併發能力強。基於tcp四層負載均衡併發50w長連線。
資料:nginx
paho mosquitto的python客戶端
資料:twisted-mqtt-client
資料:mosquitto mqtt乙個開源的mqtt broker,單核非同步併發2w。
資料:hivemq mqtt broker
資料:redis
mongodb
influxdb
tsdb
hadoop實現了乙個分布式檔案系統(hadoop distributed file system),簡稱hdfs。hdfs有高容錯性的特點,並且設計用來部署在低廉的(low-cost)硬體上;而且它提供高吞吐量(high throughput)來訪問應用程式的資料,適合那些有著超大資料集(large data set)的應用程式。
資料:mosquitto集群搭建
nginx負載均衡教程之從不用root編譯開始! + flask + uwsgi 部署高併發網路服務!
怎麼部署 flask 能達到最大的效能?
優化:nginx+uwsgi+flask
mosquitto
redis+mongodb+hadoop
大資料高併發問題解決方法
大資料高併發的瓶頸一般都是資料庫層面的,機械硬碟承載不起非常快速的讀寫操作,cpu承載不起大量的邏輯運算,所以最基本的解決思路就是 1.換固態硬碟加快硬碟的讀寫效率。2.建立快取中介軟體降低對硬碟的讀寫次數,快取不用多說了,最最最基本和重要的優化策略。3.將硬碟的讀寫或者資料的計算分攤到多台機器上,...
專案高併發問題解決方案合集
這道題是比較典型的題吧,也是我第乙個公司入職的時候,面試官問我的,當時我回答只能說是星星之火,還不能燎原那種,差點被面試官給澆滅。1 採用快取技術 這是最簡單的乙個回答,使用者快取 頁面快取等一切快取。使用特定的機制來進行重新整理,利用消耗記憶體空間來換取使用者的效率,同時減少資料庫的訪問次數。2 ...
Kafka開發問題解決思路
訊息丟失解決方案 首先對 kafka 進行限速,其次啟用重試機制,重試間隔時間設定長一些,最後 kafka 設定 acks all,即需要相應的所有處於 isr 的分割槽都確認收到該訊息後,才算傳送成功 訊息重複解決方案 訊息可以使用唯一 id 標識 生產者 ack all 代表至少成功傳送一次 消...