所有例項**github位址
開始最好模仿，不要自己寫，錯了找不到原因
應用：搶票，投票，報告分析，飲食地圖，輿情監控
儲存資料
的方法大概可以分為幾類：儲存文字、儲存二進位制檔案（包括）、儲存到資料庫
1.首先是獲取目標頁面
2.解析獲取的網頁中的元素，唯一定位，取得自己想要的（借助各種庫工具，分析頁面原始碼，）
3.儲存獲取的資料，比如寫入資料庫
**ip，第三方python檔案獲取，或者加入延時模組
1、列印 bs4 soup 物件的內容，格式化輸出
print soup.prettify()
2、
#請求頭 偽裝瀏覽器
headers=
import urllib.request
python 3.x中urllib庫和urilib2庫合併成了urllib庫。。
其中urllib2.urlopen()變成了urllib.request.urlopen()
urllib2.request()變成了urllib.request.request()
with open('f:/huaqiangu.txt', 'w') as f:
f.write(link.text + '\n')
實戰二：python爬取《三國演義》並且製作詞云
with open('./sanguo.txt', 'w', encoding='utf-8') as f: #要在迴圈外部開啟
我用format進行了改進，以後觀察鏈結多看幾個，我一開始看的末位4，爬6個就空了，結果規則是224
***編碼問題好煩，搞不懂，別人**
re的一般步驟是先使用re.compile()【寫規則】函式，將正規表示式的字串形式編譯為pattern例項，然後使用pattern例項處理文字並獲得匹配結果（乙個match例項），最後使用match例項獲得資訊，進行其他的操作。
不使用re.s引數,則只在每一行內進行匹配,如果一行沒有,就換下一行重新開始,不會跨行。而使用re.s引數以後,正規表示式會將這個字串作為乙個整體
分詞庫：結巴分詞(jieba)學習
github結巴
及其他庫 wordcloud，scipy，matplotlib
python詞云 wordcloud 入門
實戰三：福利-meizitu有點難了
實戰四：爬取花千骨並儲存本地
實戰一：爬取花千骨並儲存本地
實戰一：爬取花千骨並儲存本地
實戰一：爬取花千骨並儲存本地
32個python爬蟲專案讓你一次吃到撐
Python小爬蟲 案例詳解
python爬取 指定內容 下面的 中有詳細注釋，每個方法下都有解釋說明方法的用途，包括 coding utf 8 引入用於爬蟲的乙個包urllib2 import urllib2 引入正規表示式的包 import re def loadpage url 對爬蟲進行偽裝，並爬取乙個頁面的所有內容 瀏...
python爬蟲實戰 貓眼電影案例
背景 抓包ajax非同步載入的網頁，載入資料的url需要通過抓包獲取。一般確認是否非同步載入，只需要右鍵開啟網頁源 如果原始碼文字內容與前端展示的結果不一致，則屬於非同步載入。這時需要按f12開啟開發者工具的network，重新重新整理網頁，就能看到真正的url。如下圖所示，開發者工具中紅色框的ur...
python爬蟲案例 Python爬蟲案例集合
在python2.x裡面有urllib和urllib2 在python3.x裡面就把urllib和urllib2合成乙個urllib urllib3是在python3.x了裡面新增的第三方擴充套件。import urllib.request 向指定的url位址傳送請求，並返回伺服器響應的類檔案物件 ...