在留校期間，學習了selenium這個強大的python庫，它的使用完全解決了對一些經過js渲染的網頁的解析和爬取，它可以實現人對網頁的基本操作，這樣也**上的反爬有了很有效的解決，雖然單體執行速度是慢了，但是在之後可以把它加入到scrapy框架裡面，然後實現分布式，提高爬去速度的，接下來我講講我是用它進行的乙個對手機知網的文獻標題和作者還有簡介的爬取。
from selenium import webdriver
import time
m=input()
browser=webdriver .chrome ()
url=''
browser.get(url)
input=browser .find_element_by_xpath('//*[@id="keyword"]')
input.send_keys(m)
put=browser.find_element_by_xpath('//*[@id="btnsearch "]')
put.click()
for i in range(0,5):
pput = browser.find_element_by_xpath('//*[@id="nextpage_a"]')
pput.click()
time.sleep(5)
result=browser.find_element_by_xpath('//*[@id="searchlist_div"]')
with open('zhiwang.text','a',encoding= 'utf-8')as fp:
fp.write(result.text)
print(result.text)
input=browser .find_element_by_xpath(』//[@id=「keyword」]』)
put=browser.find_element_by_xpath(』//[@id="btnsearch "]』)
這兩行**無非就是在網頁上找到搜尋欄對應的路徑和搜尋對應的路徑，進行想要查詢的m的輸入，之後會自動開啟乙個網頁進行輸入搜尋進入到接下來的網頁
搜尋人工智慧
進入網頁搜尋
等待一段時間然後在載入完後的頁面裡面找到自己要的資訊，進行儲存，輸出
4.總結
使用selenium還可以幹很多事，驗證碼的輸入，滑動和各種操作互動式操作都可以實現，在之後我可能還會發相關的例項供大家**學習
使用Fiddler對手機App進行抓包
安裝過程就省略了，開啟options https把下面的選項都勾選上。然後轉到connections。將下面的內容也勾選上，其中這個8888的埠，要記下來，等下會使用到。將滑鼠當道右上角的online位置，短暫停留，會展示你本機的ip，直接去命令列中看也一樣。讓電腦與手機在同一網路下，手機連線wif...
使用fiddler對手機上的APP進行抓包
前提 1.必須確保安裝fiddler的電腦和手機在同乙個wifi環境下 備註 如果電腦用的是台式電腦，可以安裝乙個隨身wifi，來確保台式電腦和手機在同一wifi環境下 安裝配置步驟 2.配置fiddler 說明 1.fiddler listens on port是手機連線fiddler時的 埠號，...
adb通過WiFi對手機進行除錯
終於建了乙個自己個人小站 以後優先更新小站部落格，歡迎進站，o o 平時在開發的時候總是需要用一根資料線連線電腦進行除錯，不是很方便。其實有個好方法就是同時wifi連線手機進行除錯。進行wifi除錯的前提是你手機必須root了，因為其中有一步需要在root許可權下執行命令。1.將手機和電腦置於同乙個...