一 簡介
scrapy基於事件驅動網路框架 twisted 編寫。因此,scrapy基於併發性考慮由非阻塞(即非同步)的實現。
官方文件 :
最重要的是理解 data flow。
別人的部落格:
二 scrapy調優
1 提高併發能力
1)增加併發
concurrent_requests = 1002)降低log級別
log_level = '3)禁止cookiesinfo
'
cookies_enabled = false4)禁止重試
retry_enabled = false
download_timeout = 156)禁止重定向
redirect_enabled = false2 去重與增量抓取
Seata原始碼分析之介紹
seata 是一款開源的分布式事務解決方案,致力於提供高效能和簡單易用的分布式事務服務。seata 將為使用者提供了 at tcc saga 和 xa 事務模式,為使用者打造一站式的分布式解決方案。seata 鏈結.最新的版本是1.2 seata sample 鏈結.官方文件 鏈結 可以先執行 sa...
JDK類載入機制原始碼分析及原始碼分析
jvm的類載入機制主要有如下三種機制 1.全盤負責 所謂全盤負責,就是說當乙個類載入器載入個個class的時候,該class所依賴和引用的其他class也將由該類載入 器負責載入,除非使用另外乙個類載入器來載入。2.雙親委託 所謂雙親委託則是先讓parent 父 類載入器試圖載入該class 若父載...
Spring設計及原始碼分析
最近這幾天在看spring的設計與原始碼,又是把自己折磨的死去活來的。但是這麼經典的東西總是要好好體會吧,畢竟機會不多。寫一點自己的思考和感觸吧 問題1 ioc和di到底有什麼區別?之前一直認為是同乙個東西,就是從不同的角度來看的,所以有了不同的名稱 主要是從李剛的那本書上看到所理解的 但是最近去官...