python爬蟲學習(五)

2021-10-06 02:57:12 字數 904 閱讀 5099

目標

破解有道翻譯介面,抓取翻譯結果

# 結果展示

請輸入要翻譯的詞語: elephant

翻譯結果: 大象

****

****

****

****

****

****

*請輸入要翻譯的詞語: 喵喵叫

翻譯結果: mews

實現步驟

【1】瀏覽器f12開啟網路抓包,network-all,頁面翻譯單詞後找form表單資料

【2】在頁面中多翻譯幾個單詞,觀察form表單資料變化(有資料是加密字串)

【3】重新整理有道翻譯頁面,抓取並分析js**(本地js加密)

【4】找到js加密演算法,用python按同樣方式加密生成加密資料

【5】將form表單資料處理為字典,通過requests.post(

)的data引數傳送

知識點回顧

【1】豆瓣電影全站抓取 - 多執行緒

劇情|喜劇|愛情|動作|兒童|..

....

請輸入要抓取的電影:12

) 目標: 所有職位的如下資訊:

a> 職位名稱

b> 職位位址

c> 職位類別(技術類、銷售類...)

d> 發布時間

e> 工作職責

f> 工作要求

3) 最終資訊詳情要通過二級頁面拿到,因為二級頁面資訊很全,而一級頁面資訊不全(無工作要求)

4) 可以不使用多執行緒

假如說你想要使用多執行緒,則思考一下: 是否需要兩個佇列,分別儲存一級頁面的url位址和二級的

Python爬蟲學習筆記(五)

使用美麗湯爬取三國演義 定位元素和屬性三種方式 beautifulsoup 正則 xpath soup.tagname soup.find soup.find all soup.select import requests from bs4 import beautifulsoup if name ...

python網路爬蟲(五)

資訊標誌的三種形式 xml,json,yaml xml例項 tian cai北京 516002 json例項 yaml例項 firstname tian lastname cai address city 北京 zipcode 516002 xml 最早的通用資訊標記語言,可擴充套件性好,但繁瑣 i...

python網路爬蟲筆記(五)

一 python的類物件的繼承 1 所有的父類都是object類,由於類可以起到模組的作用,因此,可以在建立例項的時候,巴西一些認為必須要繫結的屬性填寫上去,通過定義乙個特殊的方法 init 繫結屬性值 注意 init 方法的第乙個引數永遠是self,表示建立的是例項本身,在 init 方法內部,就...