xpath案例 全國城市名爬取

#!/usr/bin/python

import requests 
from lxml import etree 
#專案需求：解析出所有的城市名稱
if __name__ == "__main__":
# headers = 
# url = ''
# page_text = requests.get(url=url,headers=headers).text
# tree = etree.html(page_text)
# host_li_list = tree.xpath('//div[@class="bottom"]/ul/li')
# all_city_names = 
# #解析到了熱門城市的名稱
# for li in host_li_list:
#     hot_city_name = li.xpath('./a/text()')[0]
# #解析的是全部城市的名稱
# city_names_list = tree.xpath('//div[@class="bottom"]/ul/div[2]/li')
# for li in city_names_list:
#     city_name = li.xpath('./a/text()')[0]
# print(all_city_names,len(all_city_names))
headers = 
url = ''
page_text = requests.get(url=url,headers=headers).text
tree = etree.html(page_text)
#解析到熱門城市和所有城市對應的a標籤
#   //div[@class="bottom"]/ul/li/          熱門城市a標籤的層級關係
#   //div[@class="bottom"]/ul/div[2]/li/a  所有城市a標籤的層級關係
a_list= tree.xpath('//div[@class="bottom"]/ul/li/a | //div[@class="bottom"]/ul/div[2]/li/a')
all_city_names = 
for a in a_list:
city_name = a.xpath('./text()')[0]
print(all_city_names,len(all_city_names))

xpath案例 解析所有城市名稱

第一種方法把熱門城市和所有城市分開來考慮 import requests from lxml import etree if name main headers url page text requests.get url url,headers headers text tree etree.ht...

Python爬取全國主要城市經緯度座標

2 在python搞爬蟲，你可能需要這幾個庫，json，urllib，直接pip就行。import json from urllib.request import urlopen,quote url output json ak vglikfk4csd4amaewbi7a3wflbdnff a 北京...

電影爬取案例

本次案例針對的是電影天堂上的電影，爬取所有電影的鏈結，以及每個鏈結對應的詳情頁。整體思路是 封裝兩個 函式，用來獲取url，對url進行解析。這個函式用來獲取每個頁面的url def get detail url url response requests.get url,headers heade...