1.request來獲取頁面內容
)
# response.text #獲取url內容
# soup #格式化的 response.text
# 獲取url下的頁面內容
defget_page
(url)
: response = requests.get(url)
soup = beautifulsoup(response.text,
"lxml"
)return soup
#封裝成函式,名字為get_links,獲取租房頁面的鏈結,返回鏈結列表
爬蟲整理與複習
之前學過了一陣子的爬蟲,看的內容多且雜,彼時並未將內容融會貫通,且各處收集 較雜亂。自己也寫了一些,或是將網上的 加以修改,當時是在windows7的條件下均執行過至少一次可以達到預期效果。後轉入ubuntu系統,現再次將之前所學 系統得過一遍,達到複習效果的同時,使其亦可在linux上正常執行。做...
python基礎 複習整理筆記(一)
這是我的第一篇博文,部落格也不知道最終會變成什麼樣,但是我想從這一刻開始,從不完美開始 本文僅作為複習和補充使用,總結歸納多不系統,悉知 歡迎拍磚 交流 指正 一 我的常用工具 1.python直譯器,version 3.6 2.ide pycharm version 2017.2 anaconda...
Python爬蟲基礎講解(五) 響應
http響應報文也由三部分組成 響應行 響應頭 響應體 響應行一般由協議版本 狀態碼及其描述組成比如http 1.1 200 ok 其中協議版本http 1.1或者http 1.0,200就是它的狀態碼,ok則為它的描述。響應頭用於描述伺服器的基本資訊,以及資料的描述,伺服器通過這些資料的描述資訊,...