寫好爬蟲的原則只有一條：
就是讓你的抓取行為和使用者訪問**的真實行為盡量一致。
1、偽造ua字串，每次請求都使用隨機生成的ua。
為了減少複雜度，隨機生成ua的功能通過第三方庫fake-useragent實現
pip install fake-useragent核心**：
from fake_useragent import useragent
ua=useragent()
print(ua.random)
in [1]: from fake_useragent import useragent
in [2]: ua=useragent()
no handlers could be found for logger "root"
in [3]: ua.random
khtml, like gecko) version/5.0.2 safari/533.18.5'
in [4]: ua.random
rome/28.0.1467.0 safari/537.36'
in [5]: ua.random
cko) chrome/41.0.2225.0 safari/537.36'
in [6]: ua.random
tml, like gecko) chrome/41.0.2227.1 safari/537.36'
in [7]: ua.random
ml, like gecko) chrome/27.0.1453.93 safari/537.36'
in [8]: ua.random
rome/28.0.1468.0 safari/537.36'
in [9]:
python爬蟲新增隨機UA
mozilla 4.0 compatible msie 4.0 windows me trident 4.0 sv1 net clr 1.0.3705 net clr 3.0.04320 msn optimizedie8 zhcn mozilla 4.0 compatible msie 4.0 wi...
python爬蟲字元問題 爬蟲裡面的字串編碼的坑
初學python寫爬蟲程式，上手很快，但字串的編碼問題卻一直困擾著我，我相信每乙個學習爬蟲的人都有過和我一樣的困惑。一旦走上了程式設計之路，如果你不把編碼問題搞清楚，那麼它就像幽靈一般糾纏你整個職業生涯，所以，今天就談談python的字串編碼。0.前言 大家都知道，我們的計算機只能處理數字，而計算機...
python字串 Python 字串
建立字串很簡單，只要為變數分配乙個值即可。例如 var1 hello world var2 python runoob python訪問字串中的值python不支援單字元型別，單字元在 python 中也是作為乙個字串使用。python訪問子字串，可以使用方括號來擷取字串，如下例項 例項 pytho...