from urllib.request import urlopen, request
from lxml import etree
#建構函式,抓取第i頁資訊
# 構造第i頁的**
url = ''
ret = request(url, headers=headers)
res = urlopen(ret)
html = res.read().decode('utf-8')
print(html)
html = etree.html(html)
datas = html.xpath('//ol[@class="grid_view"]/li')
a = 0
for data in datas:
data_title = data.xpath('div/div[2]/div[@class="hd"]/a/span[1]/text()')
data_info = data.xpath('div/div[2]/div[@class="bd"]/p[1]/text()')
data_quote = data.xpath('div/div[2]/div[@class="bd"]/p[2]/span/text()')
data_score = data.xpath('div/div[2]/div[@class="bd"]/div/span[@class="rating_num"]/text()')
data_num = data.xpath('div/div[2]/div[@class="bd"]/div/span[4]/text()')
data_picurl = data.xpath('div/div[1]/a/img/@src')
print("no: " + str(1 * 25 + a + 1))
print(data_title)
with open('douban250.txt', 'a', encoding='utf-8')as f:
# 封面儲存路徑和檔名
# 因為發現有幾部電影沒有quote,所以這裡加個判斷,以免報錯
if data_quote:
f.write(data_quote[0] + '\n')
f.write(data_score[0] + '\n')
f.write(data_num[0] + '\n')
f.write('\n' * 3)
a += 1
js 獲取網頁高度等資訊
在我本地測試當中 在ie firefox opera下都可以使用 document.body.clientwidth document.body.clientheight 即可獲得,很簡單,很方便。而在公司專案當中 opera仍然使用 document.body.clientwidth docume...
java獲取http網頁預警資訊
在參考網上獲取http網頁資訊後,完成了獲取預警資訊的功能,將xml資訊轉換成json字串進行解析,插入到對應的表中,進行推送等功能 如下 stringbuffer sb new stringbuffer string acceptencoding 1.生成 httpclinet 物件並設定引數 設...
Powershell 獲取特定的網頁資訊
powershell可以很輕鬆的獲取網頁的資訊並讀取到對應的內容。如果物件的格式是xml或者json,那就更容易處理了,一般經常使用invoke restmethod和invoke webrequest這兩個命令。前者主要是獲取json格式的內容,後者可以獲取整個網頁的內容。比如說我希望查詢明天雪梨...