python3之微信文章爬蟲

前提：

python3.4

windows

正題：爬蟲的第一步都是先手工操作一遍（閒話）

當你跳到第二頁時可以看到「

好了，url可以得到了

1 url = ''+search+'&page='+str(page) 

1 search = urllib.request.quote(search)

page是用來迴圈的

1 for page in range(1,pagenum+1):

2     url = ''+search+'&page='+str(page)

完整的url已經得到了，接下來訪問url，獲得其中的資料（建立opener物件，新增header（））

1 importurllib.request

2     header = ('user-agent','mozilla/5.0')
3     opener =urllib.request.build_opener()
4     opener.addheaders =[header]
5 urllib.request.install_opener(opener)
6     data = urllib.request.urlopen(url).read().decode()

得到頁面內容，採用正則表達獲取相關資料

1 importre

2     finddata = re.compile('(.*?)').findall(data)
3     #finddata = [('',''),('','')]

1 title = title.replace('','')

2 title = title.replace('','')

1 link = link.replace('amp;','')

將處理後的標題和鏈結儲存在列表中

如此搜尋的標題和鏈結都得到了，接下來匯入excel

先建立excel

1 importxlsxwriter

2 workbook = xlsxwriter.workbook(search+'.xlsx')

將title_link中的資料匯入excel

1 for i in range(0,len(title_link),2):

2     worksheet.write('a'+str(i+1),title_link[i+1])
3     worksheet.write('c'+str(i+1),title_link[i])
4 workbook.close()

完整**：

1 '''

2 python3.4 + windows
3 羽凡-2017/7/11-
5 每個頁面10秒延遲，防止被限制
6 import urllib.request,xlsxwriter,re,time
7 '''
8 importurllib.request
10 pagenum = int(input('搜尋頁數:'))
11 importxlsxwriter
12 workbook = xlsxwriter.workbook(search+'.xlsx')
13 search =urllib.request.quote(search)
14 title_link =
15 for page in range(1,pagenum+1):
16     url = ''+search+'&page='+str(page)
17     importurllib.request
18     header = ('user-agent','mozilla/5.0')
19     opener =urllib.request.build_opener()
20     opener.addheaders =[header]
21 urllib.request.install_opener(opener)
22     data =urllib.request.urlopen(url).read().decode()
23     importre
24     finddata = re.compile('(.*?)').findall(data)
25     #finddata = [('',''),('','')]
26     for i inrange(len(finddata)):
27         title = finddata[i][1]
28         title = title.replace('','')
29         title = title.replace('','')
30         try:
31             #標題中可能存在引號
32             title = title.replace('「','"')
33             title = title.replace('」','"')
34         except:
35             pass
36         link =finddata[i][0]
37         link = link.replace('amp;','')
40     print('第'+str(page)+'頁')
41     importtime
42     time.sleep(10)
44 worksheet.set_column('a:a',70)
45 worksheet.set_column('c:c',100)
46 bold = workbook.add_format()
47 worksheet.write('a1','標題',bold)
48 worksheet.write('c1','鏈結',bold)
49 for i in range(0,len(title_link),2):
50     worksheet.write('a'+str(i+1),title_link[i+1])
51     worksheet.write('c'+str(i+1),title_link[i])
52 workbook.close()
53 print('匯入excel完畢！')

python3爬蟲之開篇

寫在前面的話 折騰爬蟲也有一段時間了，從一開始的懵懵懂懂，到現在的有一定基礎，對於這一路的跌跌撞撞，個人覺得應該留下一些文本性的東西，畢竟好記性不如爛筆頭，而且畢竟這是吃飯的傢伙，必須用心對待才可以，從今天起，我將會把關於爬蟲的東西進行乙個整理，以供後期的查閱，同時也想將自己的一點點經驗分享給大家。...

抓取知網摘要 搜狗微信文章 搜狗新聞的爬蟲

個人專案，只支援python3.需要說明的是，本文中介紹的都是小規模資料的爬蟲 資料量 1g 大規模爬取需要會更複雜，本文不涉及這一塊。另外，細節就不過多說了，只將乙個大概思路以及趟過的坑。本文中涉及的阿布雲ip隧道及雲打碼平台需要自己註冊，並在code中相應部分取消注釋。需要在每個模組中建立out...

python3爬蟲實戰（3）

今天心血來潮去爬取了一下招聘 的實時招聘資訊。是 選的條件是北京，實習生，計算機軟體。分析 之後發現還是很容易的，不過過程中出了不少小問題，在這裡分享一下。想要爬取的是類似的表單內容。是在ul的li裡。用beautifulsoup解析之後，tem ul bsoj.find ul 存下整個ul元素。對...