生活中遇到了問題，想去成都買個房，那哪個區域價效比高肯定要考慮一番了，最粗暴直接的就是看租售比，遂打算去鏈家網爬上各個小區的賣房單價和租房單價比上一比，python寫爬蟲無疑是最流行的了，但最近在研究node，感覺寫個爬蟲強化一下node姿勢水平還是挺不錯的。開整。
首先http請求工具和dom解析工具是必不可少的，嚴謹的說是對於像我這樣的菜鳥是必不可少的，http請求工具我選了request，主流的還有superagent可選，dom解析cheerio應該是不二選擇了，介面和jquery一樣一樣的。如果沒接觸過請先自行了解這兩個庫。
基本環境先搭建好，這個不在討論範圍，
1. 第一步我們先看抓乙個網頁是啥樣的：
router.get('/sell_price', (req, res, next) =>,function(error, response, body) ); //ip是mogoose建立的資料庫模組儲存ip
} else) //url是mogoose建立的資料庫模組儲存售房連線
}var allhouseurls = async function(ips) else,function(err, ips) else{
console.log(error);
resolve()
allhouseinfo("gaoxin");
allhouseinfo("wuhou");
allhouseinfo("qingyang");
allhouseinfo("jinjiang");
allhouseinfo("chenghua");
allhouseinfo("jinniu");
allhouseinfo("longquanyi");
沒有新東西，爬了12000條房屋資料，也就是2秒鐘的事，存在資料庫裡備用。就寫到這，後面的事兒就是資料分析啦。
基於python nodejs實現自動化測試
1.在ops系統的介面使用pagecode opcode進行改造的過程中，通過fiddler工具，攔截ops系統中的所有發出的ajax請求，收集每個請求發出的引數，進行評價 2.為了評估pagecode opcode的正確性，根據url找到資料庫中對應的menu id的值，如果這個集合內存在page...
爬蟲day3 （爬取雪球網n頁資料）
爬取雪球網n頁資料 用到 與mysql資料庫的互動 import requests import json import pymysql class mysql conn object 魔術方法,初始化,建構函式 def init self self.db pymysql.connect host ...
爬蟲 爬蟲初識
網路爬蟲 又被稱為網頁蜘蛛，網路機械人 是一種按照一定的規則，自動地抓取全球資訊網資訊的程式或者指令碼，通俗的講就是通過程式去獲取web頁面上自己想要的資料，也就是自動抓取資料。發起請求 通過http庫向目標站點發起請求，也就是傳送乙個request，請求可以包含額外的header等資訊，等待伺服器...