記錄一下今天掉的坑。。。本來再寫爬蟲的時候發現xpath能在瀏覽器裡正常使用,但是放到我的專案裡就是乙個空列表。弄了我將近乙個小時。解決方案有兩種:
第一種就是攜帶cookie值。
self.headers =
然後在訪問的時候攜帶headers就行
response = requests.get(self.start_url, self.headers)
第2種解決方法就是使用seleniumbrowser = webdriver.chrome()
browser.get(details_url)
html = browser.page_source
html = etree.html(html)
img = html.xpath('//a/@href') #然後就可以正常的匹配了
爬蟲 xpath 匹配
從根標籤開始 必須具有嚴格的父子關係 從當前標籤 後續節點含有即可選出 import lxml.html test data 111111 29.99 222222 39.95 33333 40 123 萬用字元,選擇所有 div book 1 title 選擇div下第乙個book標籤的title...
電腦不能正常關機
經常有朋友反映,自己的電腦安裝後關閉計算機總是提示 你現在可以安全關閉計算機了 然後要按下電源才能徹底關機。出現這種現象的windows xp基本都是使用ghost轉殖安裝的,而產生這種問題的根本原因是電源的設定不正確所導致的。出現這種問題之後,很多朋友採取了最極端 效率最低的處理方法,那就是換一張...
ubuntu不能正常登入
在ubuntu登入介面,輸入密碼後,出現乙個介面後一閃而過又返回登入介面。檢視auth.log發現如下錯誤 may 15 15 42 19 tim vm lightdm pam unix lightdm greeter session session opened for user lightdm ...