python簡單爬蟲獲取行政邊界點座標

2021-08-24 18:11:30 字數 727 閱讀 2537

最近剛開始學用python進行簡單爬蟲,(關於python簡單爬蟲網易雲課堂上有教程,倆小時學會這裡用到的工具是教程中提到的jupyter notebook

可以看到地圖中多了乙個行政區圖層,我們需要做的是觀察下方的響應,找到圖層對應的鏈結,通過簡單搜尋可以發現在xhr下的某個檔案,它的response可能包含了行政點資訊:

通過點開鏈結發現的確如此:

該**如下:

觀察**構成,發現uid部分應該是行政編號資訊,因此編寫程式:

from bs4 import beautifulsoup

import requests

url=』

id=』969ab43816104a0cb54f54e4』

mapurl=url.format(id)

res=requests.get(mapurl)

res.encoding=』utf-8』

soup=beautifulsoup(res.text,』html.parser』)

print(res.text)

理論上,只要知道各行政區的**,便可以編寫迴圈遍歷所有需要的行政區邊界點資料。

python爬蟲簡單 python爬蟲 簡單版

學過python的帥哥都知道,爬蟲是python的非常好玩的東西,而且python自帶urllib urllib2 requests等的庫,為爬蟲的開發提供大大的方便。這次我要用urllib2,爬一堆風景。先上重點 1 response urllib2.urlopen url read 2 soup...

簡單Python爬蟲獲取指定網頁內容示例

剛開始參考了一篇文章 python獲取網頁指定內容 beautifulsoup工具的使用方法 自己嘗試後,發現出現錯誤 urllib.error.httperror http error 418,查詢後發現是 某些網頁有反爬蟲的機制。解決方法參考 python爬蟲的urllib.error.http...

簡單python爬蟲

一段簡單的 python 爬蟲程式,用來練習挺不錯的。讀出乙個url下的a標籤裡href位址為.html的所有位址 一段簡單的 python 爬蟲程式,用來練習挺不錯的。讀出乙個url下的a標籤裡href位址為.html的所有位址 usr bin python filename test.py im...