Python實現Splash爬取網頁

先開啟splash:

sudo docker run -p 8050:8050 scrapinghub/splash

import requests

from urllib.parse import quote
from requests import connectionerror
lua = '''
function main(splash)
splash:go("")
input = splash:select("#kw")
input:send_text("python")
submit = splash:select("#su")
submit:mouse_click()
splash:wait(3)
return splash:jpeg()
end'''
#將lua指令碼轉換為url格式並與url位址拼接
#請求url
response = requests.get(url)
print(response.status_code)
#將返回的資訊寫入檔案

結果:

python爬取實現自動翻譯

爬取翻譯的例子一搜一大把，看了好多例子，我也來跟風一波，就是瞎弄著玩的。最終實現結果 完整 import urllib.request import urllib.parse import json from tkinter import root tk root.title 我愛英語 信你個鬼！s...

python實現單詞的簡單爬取

因為不需要登入之類的操作，可以說，這是對爬蟲初學者來說最簡單最基礎的乙個案例了，由於之後要用到這裡就簡單學習記錄一下。爬取目標 金山詞霸的四六級詞彙 我們可以很容易看到四個選項，六級就不列出來了。很容易拿到，且規律這麼明顯，所以說很容易。我們每次爬取單詞的時候僅需對這四個詞庫隨機選取即可。我們選擇四...

python爬取基金 Python 爬基金資料

coding utf 8 importjsonimportrequestsfrom lxml importetreefrom htmlparser importhtmlparserfrom pymongo importmongoclient client mongoclient localhost ...