什麼是爬蟲
2. 爬蟲能幹些什麼
爬蟲能夠做到哪些應用，上面已經提到一點是可以批量爬取網頁的資料資訊，並用於後續業務研究；爬蟲還可以爬取深層次的使用者個人資訊（恭喜你，到這一步就離查水表不遠了）。（個人理解淺薄請大家補充）
3. 爬蟲幾大步驟（網頁資料爬蟲-python）
3.1 導包
3.2 請求資料
請求資料當中需要用到**，模擬網頁，否則後續總會出現爬取錯誤等問題。。
3.3 獲取資料
網頁請求完之後就需要資料解析了，這裡的資料解析是網頁解析；這裡需要補充一下正規表示式的只是，爬取資料的格式必定與網頁中的資料是不同的，所有我們需要對資料進行正則化的解析，得到我們要的資料的格式，如下圖
3.4 儲存資料
資料存到了乙個datalist的list型別中，然後就是儲存，我們可以使用excel進行儲存（小資料量），也可以使用資料庫進行儲存，python支援多種資料庫的操作，如sql3，甲骨文，sql server等。這裡使用excel進行儲存。
4. 總結
Python 爬取網頁資訊
對於本次學習爬蟲中的一些總結 1.要熟練掌握基礎知識，包括一些基礎的語法 2.正規表示式的正確使用，建議學習北理工的python爬蟲課程 3.先寫大框架再新增小的功能解析 4.對程式異常處理要熟練，盡量使用try.excep結構 5.對於列表字串資料的基本使用到位，比如增刪改查等 6.思路必須清晰 ...
Qt連續爬取多個網頁
maiee的qt編的糗百小爬蟲一次只能夠抓取糗百熱門的第一頁，第一頁就那麼幾條，一下子就看完了。於是就想更新一下程式，想能不能把它糗百熱門的前十頁都爬下來。connect mgr,signal finished qnetworkreply this,slot query qnetworkreply ...
python爬取網頁資訊心得
先是乾貨 配置好python之後請在cmd裡敲如下命令 pip install lxml pip install beautifulsoup4 pip install html5lib pip install requests 然後是python 爬取前程無憂網的，import csv import...