python寫簡單的爬蟲 Lxml

2021-10-03 07:46:01 字數 525 閱讀 8444

from pprint import pprint

from lxml.html import fromstring,tostring

broken_html =

''tree=fromstring(broken_html)

#fromstring( )方法可以將html**轉換為class型別

fixed_html=tostring(tree,pretty_print=

true

)#tostring( )方法可以輸出修正之後的html**,也可以直接讀取文字進行解析,但是結果為bytes型別

pprint(fixed_html)

li=tree.cssselect(

'ul#coutry_or_distric >li')[

0]# cssselect()可呼叫css選擇器

print

(li.text_content())

# text_content()返回元素的相關文字形式

用python寫爬蟲簡單嗎

所謂網路爬蟲,通俗的講,就是通過向我們需要的url發出http請求,獲取該url對應的http報文主體內容,之後提取該報文主體中我們所需要的資訊。下面是乙個簡單的爬蟲程式 http基本知識 當我們通過瀏覽器訪問指定的url時,需要遵守http協議。本節將介紹一些關於http的基礎知識。http基本流...

python爬蟲簡單 python爬蟲 簡單版

學過python的帥哥都知道,爬蟲是python的非常好玩的東西,而且python自帶urllib urllib2 requests等的庫,為爬蟲的開發提供大大的方便。這次我要用urllib2,爬一堆風景。先上重點 1 response urllib2.urlopen url read 2 soup...

linux下用python寫簡單的爬蟲程式

簡述下這個爬蟲程式的基本原理 geturl.py coding utf 8 import urllib defgethtml url page urllib.urlopen url html page.read return html html gethtml print html 新建乙個getu...