cherrio模組
安裝
cnpm install cherrio
使用方法request模組const cheerio = require('cheerio')
const $ = cheerio.load('')
$('h2.title').text('hello there!')
$('h2').addclass('welcome')
$.html()
//=>
爬蟲系統 request cheeriovar request = require('request');
request('', function (error, response, body) );
爬取乙個**的內容資訊
分析內容
簡單的爬蟲
//發起服務端請求 請求乙個網頁
const request = require('request')
const fs= require('fs')
const path= require('path')
const cheerio = require('cheerio')
let url =''
request(url,(err,response,body)=>else
})const $ = cheerio.load(body)
let imgs =
// 用正則判斷陣列中的路徑是否存在https
$('img').each((index, ele) => /, 'https://') //正則判斷
}imgs.push(src)
})for (let index = 0; index < imgs.length; index++) .png`)) //用下標命名,要建好img資料夾
};}})
Node 簡單爬蟲
以爬慕課網hadoop高階課程為例,用node寫乙個簡單的爬蟲 先抓取這個 的原始碼 然後分析這個頁面的dom,如圖 每大章節都被乙個chapter包圍,抓取下來就是乙個陣列,對每個item,這張的大標題在strong裡面,每章的小章節在video標籤裡,然後小標題就是j media item的te...
node的簡單爬蟲
最近在學node,這裡簡單記錄一下。首先是在linux的環境下,關於node的安裝教程 我看的教程裡面還用來express框架 鍵入 npm install express registry 來安裝 這樣基本的環境就弄好了,裝好以後來建立專案,過程如下 1.隨便建乙個資料夾,比如說是lesson3 ...
scrapy爬蟲簡單案例
進入cmd命令列,切到d盤 cmd d 建立article資料夾 mkdir articlescrapy startproject articlescrapy genspider xinwen www.hbskzy.cn 命令後面加爬蟲名和網域名稱 不能和專案名同名 items檔案 define h...