這算是我第一次使用框架吧，說來慚愧。
此前用request帶上cookie實現、（稍微）完善了qq空間的爬蟲（傳送門），接下來想實現分布式去爬。其實只要能實現待爬qq佇列的共享，分布式的主要問題也就解決了。但是覺得這樣實現的爬蟲專案有點「不正規」，所以想用scrapy框架和redis資料庫來整頓現有爬蟲。無奈公司裡也沒什麼人指點，全憑一人摸爬滾打，過程有點痛苦，但自信只要敢啃，還是可以拿下的，不成問題。
然後就動手了。
（忽略安裝過程，估計是以前用其他模組的時候已經**吐夠了，環境都配好了，竟然直接用 pip install scrapy 就成功了）
其實遇到的問題還是挺多的，主要的原因是對scrapy了解不夠深入。想要入門scrapy容易，但是想要單槍匹馬快速入門，就很需要看重怎麼走了。
我是想著先實現簡單的scrapy爬蟲，再用redis實現分布式。在此之後再進行功能拓展，例如cookie登入，例如爬蟲資料的增加，例如異常處理、效能優化等等。總體的思路是先縱向深入，再橫向逐個拓展。
感覺當前的難點更多的還是在右半邊，獲取資料。
接下來，構造中介軟體。
繼續勘探，盡快熟悉scrapy與分布式！
國慶第五天
直接在寢室待了乙個上午 一 matlab 試了一下昨天安裝的matlab2010b發現檔案都打不開，報這個錯 undefined function or method uiopen for input arguments of type char 二 c 1.找到了個之前 裡的乙個問題 把本週開頭和...
集訓第五天
今天學習了乙個快速指數冪取餘的演算法。就拿一道題來說明 description 上初中的時候我們就學會了冪乘運算，可是我們卻不知道對於高階的冪乘，出結果的方法比較慢，那麼你有什麼更好的方法嗎？input 第1行，乙個整數n 1 n 1000 表示要計算的資料組數 第2 n 1行，每行兩個整數，第1個...
實習第五天
今天是第一周的最後一天，最近的專案中乙個類似qq聊天系統為最重要的任務，師傅交給 我的任務是用layer完成三個介面，新增好友介面 查詢好友介面以及傳送好友新增請求介面。先說明一下layer的基本頁面模板 lang en charset utf 8 傳送好友請求title rel styleshee...