通過抓包工具全域性搜尋定位到動態載入資料的資料報,提取到相關的url和請求引數
通過對比幾家企業詳情頁的url,發現只有請求引數id值不同
請求到的json串就是我們最終想要的詳情資訊!
# 爬取藥監總局中相關企業的詳情資訊
# 其中一頁的ajax請求url,翻頁: itownet/portalaction.do?method=getxkzslist
# 詳情頁url: itownet/portal/dzpz.jsp?id=ff83aff95c5541cdab5ca6e847514f88(沒用上)
# 企業ajax詳情資料url: itownet/portalaction.do?method=getxkzsbyid
# 爬取一頁
import requests
num = int(input('請輸入要採集的頁面數:'))
headers =
url = 'itownet/portalaction.do?method=getxkzslist'
for i in range(1,num+1):
print('正在爬取第{}頁的資料......'.format(i))
# 進入介面
data =
companies_data = requests.post(url=url,headers=headers,data=data).json()
# 爬取具體企業的詳情資訊
msg_url = 'itownet/portalaction.do?method=getxkzsbyid'
for company in companies_data['list']:
data =
msg_dic = requests.post(url=msg_url,headers=headers,data=data).json()
print(msg_dic['epsname'] + ':' + msg_dic['legalperson'])
爬蟲筆記（二） 爬取藥監局所有詳情頁資料
藥監局 藥監局首頁 詳情頁 目的 爬取藥監局所有詳情頁資訊，儲存在本地，以csv檔案格式儲存。分析主頁 主頁的response返回內容中，包含了這一頁中的所有企業的id 修改網頁引數page可以實現翻頁 所以首先要通過訪問主頁，獲取所有企業id，放到乙個list中。if name main url ...
linux中關閉oracle相關服務和監聽
由於遇到資產檢測，需要把應用系統服務和資料庫服務都停止一段時間，所以需要把oracle服務停了。步驟如下 1.登陸伺服器，然後切換使用者到oracle使用者 su oracle 2.檢視oracle例項和監聽的狀態,ps ef grep oracle 3.如果服務監聽在執行，則關閉。先關監聽，lsn...
Android中判斷網路連線是否可用及監控網路狀態
android中判斷網路連線是否可用及監控網路狀態 獲取網路資訊需要在androidmanifest.xml檔案中加入相應的許可權。1 判斷是否有網路連線 public boolean isnetworkconnected context context return false 2 判斷wifi網...