Python爬蟲之PyQuery使用（六）

pyquery能夠通過選擇器精確定位 dom 樹中的目標並進行操作。pyquery相當於jquery的python實現，可以用於解析html網頁等。它的語法與jquery幾乎完全相同，對於使用過jquery的人來說很熟悉，也很好上手。

有 4 種方法可以進行初始化：

可以通過傳入 字串、lxml、檔案 或者 url 來使用pyquery

from pyquery import pyquery as pq

from lxml import etree
d = pq("")#傳入字串
d = pq(etree.fromstring(""))#傳入lxml
d = pq(url='') #傳入url
d = pq(filename=path_to_html_file) #傳入檔案

html='''

'''

doc = pq(html)

# 獲取所有a標籤

print(doc('body .mh-col li a'))

注意：

類名用.

id用#

標籤用標籤名

另外選擇的是具有層級關係，從左到右，不是直接的父子的關係。

執行結果如下：

歌手高空拍mv墜亡

佛祖朱龍廣金婚
常見租房陷阱
靳東回應發錯詩詞
煤老闆們的影視江湖
1024程式設計師節
美的合併小天鵝
京崑高速4車相撞

html='''

'''from pyquery import pyquery as pq
doc = pq(html)
items = doc('.mh-col')
#.find()：查詢巢狀元素
alist = items.find('li a')
print(alist)
#查詢所有子元素
alist2 = items.children()
print(alist2)
#查詢指定的子元素
alist3 = items.children('.g-ellipsis1')
print(alist2) 

#查詢父元素 
#注意：乙個元素只有乙個父元素 
body = items.parent() 
print(body) 
#查詢祖先元素 
content = items.parents() 
print(content) 
#查詢兄弟元素 
li = doc('.mh-col .g-ellipsis1') 
print(li.siblings()) 
#遍歷 單個元素 
#遍歷所有的a標籤
alist =doc('.mh-col li a').items() 
for a in alist: print(a)

獲取屬性

a =doc('.mh-col li .g-a-noline8')
print(a.attr['href'])
print(a.attr.href)
獲取文字
a =doc('.mh-col li .g-a-noline8')
print(a.text())
獲取html
a =doc('.mh-col li .g-a-noline8')
print(a.html())

#addclass、removerclass

#修改類名
a =doc('.mh-col li .g-a-noline8')
print(a)
a.removeclass('g-a-noline8')
print(a)
a.addclass('g-a-noline8')
print(a)
#attr、css
#修改屬性和樣式
a =doc('.mh-col li .g-a-noline8')
print(a)
a.attr('name','link')
print(a)
a.css('font-size','14px')
print(a)

#remove

#刪除標籤
li = doc('.mh-col .g-ellipsis8')
print(li)
li.find('a').remove()
print(li)

更多的dom操作：

Python爬蟲之爬蟲概述

知識點 模擬瀏覽器，傳送請求，獲取響應 網路爬蟲 又被稱為網頁蜘蛛，網路機械人 就是模擬客戶端 主要指瀏覽器 傳送網路請求，接收請求響應，一種按照一定的規則，自動地抓取網際網路資訊的程式。知識點 了解 爬蟲的概念 爬蟲在網際網路世界中有很多的作用，比如 資料採集 抓取招聘 的招聘資訊 資料分析 挖掘...

python爬蟲感悟 Python之爬蟲有感（一）

urllib.request.request url headers headers user agent 是爬蟲和反爬蟲鬥爭的第一步，傳送請求必須帶user agent 使用流程 1 建立請求物件 request urlllib.request.request url 2 傳送請求獲取響應物件 r...

python爬蟲header 爬蟲之header

有些 不會同意程式直接用上面的方式進行訪問，如果識別有問題，那麼站點根本不會響應，所以為了完全模擬瀏覽器的工作，我們需要設定一些headers 的屬性。首先，開啟我們的瀏覽器，除錯瀏覽器f12，我用的是chrome，開啟網路監聽，示意如下，比如知乎，點登入之後，我們會發現登陸之後介面都變化了，出現乙...