如何爬取每天的彩票數

import lxml.html

import requests

import pymongo

client=pymongo.mongoclient(host=『localhost』,port=27017)#連線mongodb

db=client.caipiao

collection=db.ssq

def parse_xpath(html_str):

html=lxml.html.fromstring(html_str)

#拿到每天日期的彩票

tr_list = html.xpath(』//tbody[@id=「cpdata」]//tr[@class=""] | //tr[@class=「lastrow」]』)

#對物件進行遍歷

for tr in tr_list:

#拿到每天的彩票日期

data=tr.xpath(』.//td[1]/text()』)[0]

#紅色球

red_temp = tr.xpath(』.//td[@class=「ball_red」]/text()』)

red=』,』.join(red_temp)

#橘色球

orange_temp = tr.xpath(』.//td[@class=「ball_brown」]/text()』)

orange = 『,』.join(orange_temp)

#藍色球

blue_temp = tr.xpath(』.//td[@class=「ball_blue js-fold」]/text()』)

blue = 『,』.join(blue_temp)

#將每天的球新增到乙個字典中

value=

print(value)

#將字典中的資料新增到mongodb中,無則新增,有則更新

collection.update(, , upsert=true)

result=requests.get(『

result=parse_xpath(result.text)

print(result)

Scrapy爬取彩票開獎結果的實現

需求 爬取體育彩票高頻遊戲 北京11選5的開獎結果 實現計畫 使用scrapy從網頁上爬取 實現步驟 1 準備乙個開發測試環境，筆者使用的是 1 2 3 1 ubuntu16.04 2 python2.7.12 3 scrapy1.2.0 2 建立乙個scrapy工程 scrapy startpro...

如何使用python爬取資料

在爬取資料之前首先使用 pip install requests 命令 import requests base url 此處為你所要爬取資料的 header 此處為偽裝成瀏覽器 res requests.get base url,headers header 傳送請求並返回包含相應的html檔案內...

python如何爬取網頁中的文字

用python進行爬取網頁文字的 usr bin python coding utf 8 import requests import re 乙個網頁 url 模擬瀏覽器傳送http請求 response requests.get url 編碼方式 response.encoding 程式設計客棧 ...