#!/usr/bin/env python
# -*- coding:utf-8 -*-
'''這是我的第乙個python爬蟲指令碼
使用的是python3.7.0
2018-12-01 14:02
'''import urllib.request
import random
# url = ''
url = ''
# url中的中文的引數可以通過 urllib.parse.quote() 進行轉化
#模擬瀏覽器的請求,反爬蟲的第一步
ua_list = [
"mozilla/5.0 (macintosh; intel mac os x 10.6; rv2.0.1) gecko/20100101 firefox/4.0.1",
"mozilla/5.0 (windows nt 6.1; rv2.0.1) gecko/20100101 firefox/4.0.1",
"opera/9.80 (macintosh; intel mac os x 10.6.8; u; en) presto/2.8.131 version/11.11",
"opera/9.80 (windows nt 6.1; u; en) presto/2.8.131 version/11.11",
]# 在user-agent列表裡面隨機選擇乙個user-agent
user_agent = random.choice(ua_list)
# 通過urllib.request.request() 方法構造乙個請求函式
request = urllib.request.request(url)
# add_header()方法 新增/修改 乙個http報頭
request.add_header("user-agent", user_agent)
# 向指定的url位址傳送請求, 並返回伺服器響應的類檔案物件
reponse = urllib.request.urlopen(request)
# 伺服器返回的類檔案物件支援python檔案物件的操作方法
# read() 方法就是讀取檔案裡的全部內容,返回字串
resout_html = reponse.read().decode('utf-8') # 返回頁面的內容
resout_statcode = reponse.getcode() # 返回響應碼
resout_url = reponse.geturl() # 獲取傳送請求的url
resout_info = reponse.info() # 獲取傳送請求的url
print(resout_html)
python第乙個程式設計 第乙個 Python 程式
簡述 安裝完 python 後,windows 中 開始選單或安裝目錄下就會有 idle 開發 python 程式的基本 ide 整合開發環境 幫助手冊 模組文件等。linux 中 只需要在命令列中輸入 python 命令即可啟動互動式程式設計。互動式程式設計 互動式程式設計不需要建立指令碼檔案,是...
第乙個Python指令碼之 Hello World
通過前面一篇文章,可能大家都成功的搭建了python的開發環境了,在這,我們便指導如何建立乙個最基本的python指令碼 hello world。如果你重來沒有接觸過python,那麼,該篇指導你怎麼去直接的認知python 從你人生中的第乙個python指令碼開始。python 指令碼應用的開發有...
第乙個Shell指令碼
開啟文字編輯器,新建乙個檔案,擴充套件名為sh sh代表shell 副檔名並不影響指令碼執行,見名知意就好,如果你用php寫shell 指令碼,副檔名就用php好了。輸入一些 bin bash echo hello world 是乙個約定的標記,它告訴系統這個指令碼需要什麼直譯器來執行,即使用哪一種...