import requests
if __name__ == '__main__':
url = ''
# ua 偽裝
headers =
# 處理url 攜帶的引數：封裝到字典
data =
# 對指定的url 發起的請求對應的url 是攜帶引數的，並且求情過程中處理了引數
response = requests.post(url=url,data=data,headers=headers)
#獲取型別是test
page_text = response.text
filename = kw+'.txt'
with open(filename,'w',encoding='utf-8') as pf:
pf.write(page_text)
print(filename,'儲存ok')
爬蟲爬取bilibili
1.根據url傳送請求給伺服器，獲取html文字 2.解析html文字，把需要的資料挑出來 3.從html中解析出超連結，繼續爬取其中的頁面 爬蟲的協議b站的爬蟲協議 尾巴加上 robots.txt 獲取相應的api 控制抓取的頻率 import requests url 發起網路請求 respon...
Python 爬蟲爬取網頁
工具 python 2.7 import urllib import urllib2 defgetpage url 爬去網頁的方法 request urllib.request url 訪問網頁 reponse urllib2.urlopen request 返回網頁 return response...
爬蟲之小說爬取
以筆趣閣 為例，爬取一念永恆這本 具體 如下 1 from bs4 import beautifulsoup 2from urllib import request 3import requests 4importre5 import sys6 def down this chapter chapt...