Python題目5 爬取CFDA資料

import requests

class cfda:
# 初始化函式
def __init__(self):
# 初始化要提交資料的**
self.url = ''
# 反爬 f12->網路->請求標頭
def getdata(self,data): # 獲取資料
self.html = requests.post(self.url,data = data,headers = self.header)
# print(self.html.json())
# 響應正文的內容即為json資訊，類同txt檔案
def extractdata(self): # 提取資訊；firefox->f12->網路->響應
for i in range(len(self.html.json()['list'])): # 在不清楚有多少個的時候
self.cfda_data = self.html.json()['list'][i]['eps_name']
self.f.write(self.cfda_data + '\n'*2)
def fclose(self): # 關閉檔案
self.f.close()
if __name__ == '__main__':
cfda = cfda()
for m in range(1,20):
data = 
cfda.getdata(data)
cfda.extractdata()
cfda.fclose()

python爬取HDU所有題目

還沒有爬具體題目資訊，待更新。coding utf 8 爬取hdu題目儲存到本地excel import requests from bs4 import beautifulsoup import xlsxwriter 儲存題目資訊二維陣列 allproblem 建立excel檔案 hduprobl...

python練習5 爬取有道翻譯

具體 如下 import urllib.request import urllib.parse 可以實現url的構造，但是去掉也不影響結果 import json 把獲取到的字串轉換成字典的時候需要用到 content input 輸入要翻譯的內容 url 取network裡面找到這個url，把裡面...

python動態爬取知乎 python爬取微博動態

在初學爬蟲的過程中，我們會發現很多 都使用ajax技術動態載入資料，和常規的 不一樣，資料是動態載入的，如果我們使用常規的方法爬取網頁，得到的只是一堆html 沒有任何的資料。比如微博就是如此，我們可以通過下滑來獲取更多的動態。對於這樣的網頁該如何抓取呢？我們以微博使用者動態為例，抓取某名使用者的文...