python 8 網路爬蟲

通過 request 的 headers 引數修改

通過 request.add_header() 方法修改

import urllib.request

import urllib.parse
import json
content=input('請輸入需要翻譯的內容：')
url=''
#head={}
data={}
data['i']=content
data['from']='auto'
data['to']='auto'
data['smartresult']='dict'
data['client']='fanyideskweb'
data['salt']='1523334803377'
data['sign']='b2c40c2c92b7029b7f53c4a272257144'
data['doctype']='json'
data['version']='2.1'
data['keyfrom']='fanyi.web'
data['action']='fy_by_clickbuttion'
data['typoresult']='false'
data=urllib.parse.urlencode(data).encode('utf-8')
req=urllib.request.request(url,data)#req=urllib.request.request(url,data,head)
response=urllib.request.urlopen(req)
html=response.read().decode('utf-8')
target=json.loads(html)
print('翻譯結果：%s'% target['translateresult'][0][0]['tgt'])

方法1：time

方法2：**

import urllib.request

import urllib.parse
import json
import time
while
true:
content=input('請輸入需要翻譯的內容(輸入q!退出)：')
if content=='q!':
break
url=''
data={}
data['i']=content
data['from']='auto'
data['to']='auto'
data['smartresult']='dict'
data['client']='fanyideskweb'
data['salt']='1523334803377'
data['sign']='b2c40c2c92b7029b7f53c4a272257144'
data['doctype']='json'
data['version']='2.1'
data['keyfrom']='fanyi.web'
data['action']='fy_by_clickbuttion'
data['typoresult']='false'
data=urllib.parse.urlencode(data).encode('utf-8')
req=urllib.request.request(url,data)
response=urllib.request.urlopen(req)
html=response.read().decode('utf-8')
target=json.loads(html)
print('翻譯結果：%s'% target['translateresult'][0][0]['tgt'])
time.sleep(5)#

引數是乙個字典

proxy_support = urllib.request.proxyhandler({})

定製、建立乙個 opener

opener = urllib.request.build_opener(proxy_support)

a. 安裝 opener

urllib.request.install_opener(opener)

b. 呼叫 opener

opener.open(url)

import urllib.request

url=''
#顯示ip位址
proxy_support=urllib.request.proxyhandler()
opener = urllib.request.build_opener(proxy_support)
urllib.request.install_opener(opener)
response=urllib.request.urlopen(url)
html=response.read().decode('utf-8')
print(html)

urlerror 屬性：reason

httperror 屬性：code ;reason

Python 3 網路爬蟲

python 原來還可以這樣玩 python爬蟲，破解有道翻譯介面引數 破解有道翻譯反爬蟲機制 python3網路爬蟲快速入門實戰解析 article details 78123502 python3網路爬蟲 五 python3安裝scrapy article details 60156205 py...

08 網路爬蟲

原理 httprequest 新聞伺服器 dom 文件 爬蟲應用 dom 解析 資料庫 網路爬蟲之dom解析 document element elements jsoup html 解析器 匯入jsoup 1.6.3.jar 網路爬蟲的步驟 1 網路請求 請求url 2 得到dom文件 docum...

0302網路爬蟲

1 正規表示式 通用的字串表達框架，簡潔表達一組字串的表示式。針對字串表達 簡潔 和 特徵 思想的工具。判斷某字串的特徵歸屬。主要應用在字串匹配中 正規表示式在文字處理中常用 表達文字型別的特徵 病毒 入侵等 同時查詢或替換一組字串 匹配字串的全部或部分。正規表示式的使用 編譯 將符合正規表示式語法...