python爬蟲 爬取Q房網房價

from lxml import etree    #從lxml中匯入etree

import requests
import csv
import time
defwritecsv
(item)
:#定義寫入函式
with
open
('qfang.csv'
,'a'
,encoding=
'utf-8'
)as f:     
writer = csv.writer(f)
try:
writer.writerow(item)
except
:print
('writer error!'
)if __name__ ==
'__main__'
:    header=
#定義表頭，可以再網頁的network中檢視
start_url =
''#觀察所爬網頁各個頁面的規律，發現其**是+數字
for x in
range(1
,7):
url = start_url +
str(x)
+'/'
#注意，這裡在用range時一定要將x轉化為str
html = requests.get(url,headers = header)
#轉碼        time.sleep(1)
#延時1秒
selector = etree.html(html.text)
#用etree建立乙個篩選器
xiaoqulist = selector.xpath(
'//*[@id="container"]/div[2]/div[1]/div[3]/div'
)#尋找每乙個房價資訊xpath的規律
for xiaoqu in xiaoqulist:
mingcheng = xiaoqu.xpath(
'div/a[1]/span/text()'
)#尋找相應房價資訊中各個小項xpath的規律
dizhi = xiaoqu.xpath(
'div/a[2]/span/text()'
)            mianji = xiaoqu.xpath(
'div/a[3]/span[3]/text()'
)            junjia = xiaoqu.xpath(
'a[2]/p/span/text()'
)            item =
[mingcheng,dizhi,mianji,junjia]
#根據上述資訊建立列表
writecsv(item)
#利用上面函式將資訊寫入csv
print
('正在爬取:'
,mingcheng)

爬取鏈家網房價資料

感覺最近做的東西好菜 隨便了。d 鏈家房價資料.csv wt newline encoding utf8 writer csv.writer fp writer.writerow 樓盤名 位址 房間格式 房間面積 起價 優點 defget html url try response requests...

Python爬蟲實戰之爬取鏈家廣州房價 03儲存

系列目錄 python爬蟲實戰之爬取鏈家廣州房價 01簡單的單頁爬蟲 python爬蟲實戰之爬取鏈家廣州房價 02把小爬蟲變大 這一小節主要講一下前面一直沒有實現的儲存，儲存主要分兩大類 檔案和資料庫。結合這次爬蟲的資料量及後期分析的需要，這次主要介紹sqlite。通過對sqlite資料庫的封裝，處...

Python爬取鏈家房價資訊

房子問題近些年來越來越受到大家的關注，要了解近些年的房價，首先就要獲取網上的房價資訊，我們以鏈家網上 的房價資訊為例，將資料爬取下來並儲存起來。這次資訊的爬取我們依然採取requests beautiful soup的線路來爬取鏈家網上的 房的資訊。需要安裝好anaconda，並保證系統中已經有re...