Python爬取商家聯絡電話以及各種資料

2021-09-07 18:35:33 字數 1011 閱讀 6841

首先我學習時用的是114黃頁資料。 

下面四個是用到的模組，前面2個需要安裝一下，後面2個是python自帶的。

import requests


from bs4 import beautifulsoup


import csv


import time
然後，寫個函式獲取到頁面種想要的資料，記得最後的return返回一下，因為下面的函式要到把資料寫到csv裡面。

def get_content(url,data=none):


header = {
接著：把資料寫到**裡面。我這裡用到的是csv,方便閱覽。

def write_data(data,name):


file_name=name


with open(file_name, "w", newline='') as csvfile: writer = csv.writer(www.dejiaylsmile.cn  csvfile) writer.writerow(["商鋪名稱", "聯絡**"]) writer.writerows(data) print('抓取完成'
最後就是執行這些函式：

if __name__ == '__main__':


url = ' www.yingka178.com cid=008004008&page=2'


mydata = get_content(www.078881.cn url)


write_data(mydata,'phone.csv'www.dfzx157.com)
在這裡我想到應該把url寫成動態的，因為這裡面有頁數。讓page寫成迴圈自動+1，當然，可以在網頁看到一共多少頁。寫個迴圈執行。就更完美了。

Python爬取商家聯絡電話以及各種資料

首先我學習時用的是114黃頁資料。下面四個是用到的模組，前面2個需要安裝一下，後面2個是python自帶的。import requests from bs4 import beautifulsoup import csv import time 然後，寫個函式獲取到頁面種想要的資料，記得最後的ret...

requests lxml xpath爬取電影天堂

1.匯入相應的包 import requests from lxml import etree 2.原始ur 我們要爬取的是最新電影，在該介面中，我們發現，具體的資訊儲存在每個名字的鏈結中，因此我們要獲取所有電影的鏈結才能得到電影的資訊。同時我們觀察url，發現 list 23 1，最後的1是頁面位...

python爬蟲之scrapy爬取豆瓣電影（練習）

開發環境 windows pycharm mongodb scrapy 任務目標 任務目標 爬取 豆瓣電影top250 將資料儲存到mongodb中。items.py檔案 coding utf 8 define here the models for your scraped items see d...