python爬取糗百第一頁的笑話

自學python網路爬蟲，發現request比urllib還是要好用一些，因此利用request和beautifulsoup來實現糗百的首頁笑話的抓取。

beautifulsoup通過find和findall以及利用正規表示式實現html對應模組的抓取，當然select也是乙個不錯的選擇。
下面是臨時的**，後續還會繼續完善。

1

#coding=utf-8
2import
requests
3from bs4 import
beautifulsoup
45 page = 1
6 url = '
' +str(page)
7try
:8     res=requests.get(url)9#
10except
exception as e:
11print
'開啟網頁出現異常：',e
1213
try:
14     soup=beautifulsoup(res.text,'
html.parser')
15     elms=soup.select('
.content
') #
這裡產生乙個列表
16for elm in
elms:
17print
elm.text
18except
exception as e:
19print
'解析出現異常：
',e

豆瓣評論第一頁爬取

import requests 先進行第一次安裝 from lxml import etree import pandas as pd url r requests.get url text s etree.html r 獲取文字內容用text 觀察下面獲取的第乙個 第二個文字內容時的xpath後面...

爬蟲爬取京東商品評論（第一頁）

知識點 網頁分析，使用json提取頁面內容。通過源 可以發現資料在json之中。response字典部分即為json格式。刪除fetchjson comment98 通過json.cn解析。所以需要爬取的內容，直接從json裡面提取即可。import requests url headers res...

日記本的第一頁

有很多人去聽一位哲學家講授人生成功的秘訣，結果那位哲學家給每位聽眾一本小冊子，上面有 個寓言故事，人們看了以後，都覺得受益匪淺。相信自己是乙隻雄鷹 乙個人在高山之巔的鷹巢裡，抓到了乙隻幼鷹，他把幼鷹帶回家，養在雞籠裡。這只幼鷹和雞一起啄食 嬉鬧和休息。它以為自己是乙隻雞。這隻鷹漸漸長大，羽翼豐滿了，...