python爬蟲的兩種方式

1、requests方式

(1) 無頭部資訊

import

requests
url = "
"response =requests.get(url)
response.encoding = '
utf-8
'print(response.text)

(2) 有頭部資訊

import

requests
url = "
"headers = 
response = requests.get(url, headers=headers)
response.encoding = '
utf-8
'print(response.text)

2、urllib.request方式

(1) 無request請求

from urllib import

request
url = "
"response =request.urlopen(url)
print(response.read().decode('
utf-8
'))

(2) 構造request請求

from urllib import

request
url = "
"headers = 
req = request.request(url, headers=headers)
response =request.urlopen(req)
print(response.read().decode('
utf-8
'))

3、捕獲錯誤資訊

4、隨機獲取頭部資訊

from fake_useragent import

useragent
ua =useragent()
print(ua.ie) #
隨機列印ie瀏覽器任意版本
print(ua.firefox) #
隨機列印firefox瀏覽器任意版本
print(ua.chrome) #
隨機列印chrome瀏覽器任意版本
print(ua.random) #
隨機列印任意廠家的瀏覽器

python爬蟲的兩種方式

1.import urllib.request from bs4 import beautifulsoup import re import os url gb2312 head head user agent 設定 假裝是使用者訪問.注意，伺服器會限制部分user agent，如果程式報錯，就換乙...

python的兩種退出方式

os.exit 會直接將python程式終止，之後的所有 都不會繼續執行。sys.exit 會引發乙個異常 systemexit，如果這個異常沒有 獲，那麼python直譯器將會退出。如果有捕獲此異常的 那麼這些 還是會執行。1 importos2 3try 4 os.exit 0 5except ...

Python的兩種執行方式

python是由guido van rossum於1989年底發明的，1989年聖誕節期間，在阿姆斯特丹，guido為了打發聖誕節的無趣，決心開發乙個新的指令碼解釋程式，做為abc 語言的一種繼承。之所以選中python 大蟒蛇的意思 作為程式的名字，是因為他是乙個叫monty python的喜劇團...