爬蟲練習：
對小豬短租的住房資訊爬取
import requests #小豬短租住房詳情爬取
from bs4 import beautifulsoup
url=requests.get(
'')soup = beautifulsoup(url.text,
'lxml'
)titles = soup.select(
'div.wrap.clearfix.con_bg > div.con_l > div.pho_info > h4 > em')[
0].text
address= soup.select(
'div.wrap.clearfix.con_bg > div.con_l > div.pho_info > p > span')[
0].text
prices = soup.select(
'div.day_l > span')[
0].text
host_imgs = soup.select(
'div.js_box.clearfix > div.member_pic > a > img')[
0].get(
'src'
)***s = soup.select(
'div.js_box.clearfix > div.w_240 > h6 > span')[
0].get(
'class'
)names = soup.select(
'#floatrightbox > div.js_box.clearfix > div.w_240 > h6 > a')[
0].text
print
(titles)
print
(address)
print
(prices)
print
(host_imgs)
print
(***s)
print
(names)
defhost_xb
(class_name)
:if class_name ==
'member_boy_ico'
:return
'男'else
:return
'女'dict1=
page_link=
# 每個詳情頁的鏈結都存在這裡，解析詳情的時候就遍歷這個列表然後訪問就好啦~
defget_page_link
(page_number)
:#輸入需要爬取的頁碼後，得到每頁下每個商品詳情
for each_number in
range(1
,page_number)
:#頁碼迴圈
full_link =
''.format
(each_number)
get_link = requests.get(full_link)
soup = beautifulsoup(get_link.text,
'lxml'
)for each_url in soup.select(
'span.result_img > a'):
'href'
))
爬小豬短租發布的房子資訊
通過輸入國內，國外，城市名只能抓取13頁的資訊。木鳥短租可以嘗試抓取，主要裡面有文章 import requests,re,time from lxml import etree 城市列表 獲取每個城市的url url 獲取城市名稱的鏈結 ser input 輸入你要查詢的地區 1 國內 2 海外 ...
爬蟲專案1 爬取小豬短租資料
看了這個大神的部落格 爬蟲專案合集,自己也動手實踐一下 請求 requests 解析 xpath 非常簡單,直接放 import requests from lxml import etree source url 以北京地區為例 headers 請求頭比較簡單,如果被識別可以換為更複雜的 多加幾個...
Python爬蟲入門 5 爬取小豬短租租房資訊
小豬短租是乙個租房 上面有很多優質的民宿出租資訊，下面我們以成都地區的租房資訊為例，來嘗試爬取這些資料。小豬短租 成都 頁面 按照慣例，先來爬下標題試試水，找到標題，複製xpath。多複製幾個房屋的標題 xpath 進行對比 id page list ul li 1 div 2 div a span...