目錄簡介
獲取資料
**輸出
郵箱傳送
爬蟲的基本思路:根據輸入的url進行爬取資料進行解析並獲取資料,最後儲存資料。
爬取網頁資料案例:
中國天氣網:
獲取天氣資訊**如下:
data_list =
response = requests.get(url)
html_doc = response.text
soup = beautifulsoup(html_doc, 'lxml')
temp = soup.find('div', class_='temperature').get_text() # 溫度
wea = soup.find('div', class_='weather-icon-wrap').get_text() # 天氣
list = soup.find_all('ul', class_='weather-columns')
第三方庫:prettytable
資料以**輸出**如下:
for i in list:
print("列表資料:", data_list)
a = 1
tb_abject = pt.prettytable()
tb_abject.field_names = ["日期", "天氣", "詳情"]
for item in data_list:
# print(a)
if a != 1:
tb_abject.add_row(
[item.strip().split()[0] + item.strip().split()[1], item.strip().split()[2], item.strip().split()[3]])
else:
print(item.strip())
a += 1
print(tb_abject)
輸出結果如下:
tips:將資料通過郵箱傳送給您最親愛的人~
郵箱傳送案例:
import requests
from bs4 import beautifulsoup
import prettytable as pt
#獲取天氣資料
def get_data(url):
data_list =
response = requests.get(url)
html_doc = response.text
soup = beautifulsoup(html_doc, 'lxml')
temp = soup.find('div', class_='temperature').get_text() # 溫度
wea = soup.find('div', class_='weather-icon-wrap').get_text() # 天氣
list = soup.find_all('ul', class_='weather-columns')
for i in list:
# print("列表資料:", data_list)
a = 1
tb_abject = pt.prettytable()
tb_abject.field_names = ["日期", "天氣", "詳情"]
for item in data_list:
# print(a)
if a != 1:
tb_abject.add_row(
[item.strip().split()[0] + item.strip().split()[1], item.strip().split()[2], item.strip().split()[3]])
else:
print(item.strip())
a += 1
print(tb_abject)
return tb_abject
if __name__ == '__main__':
# 選擇地區,複製鏈結
url1 = "101281601"
get_data(url1)
Python爬蟲學習,抓取網頁上的天氣資訊
今天學習了使用python編寫爬蟲程式,從中國天氣網爬取杭州的天氣。使用到了urllib庫和bs4。bs4提供了專門針對html的解析功能,比用re方便許多。coding utf 8 import sys reload sys sys.setdefaultencoding utf 8 from bs...
python指令碼抓取天氣資訊並發給微信好友
最近上海天氣變化較大,為了提醒家人及親朋好友注意關注天氣,產生了這個想法。話不多說,直接上 我這裡選取特定好友傳送。usr bin env python encoding utf 8 version author heyifei email heyifei88 foxmail.com license...
python 抓取城市7日天氣
1 首先開啟氣象 開啟開發者工具,1.1可以看到7日的天氣所在位置 1.2 具體每日的天氣屬性 在li class中,2 使用 python庫函式獲取網頁資訊 url webpage req.urlopen url 根據超鏈訪問鏈結的網頁 data webpage.read 讀取超鏈網頁資料 dat...