Python製作爬蟲採集小說

開發工具：python3.4

作業系統：win8

主要功能：去指定**網頁爬**目錄，按章節儲存到本地，並將爬過的網頁儲存到本地配置檔案。

被爬**：

**名稱：靈棺夜行

**出處：本人親自碼的

print ('獲取列表完成')

url_path='url_file.txt'

url_r=open(url_path,'r')

url_arr=url_r.readlines(100000)

url_r.close()

print (len(url_arr))

url_file=open(url_path,'a')

print ('獲取已****')

for tmp in items:

s**e_path = tmp[1].replace(' ','')+'.txt'

url = code_list+tmp[0]

if url+'\n' in url_arr:

continue

print('寫日誌：'+url+'\n')

url_file.write(url+'\n')

opene = makemyopener()

op1 = opene.open(url,timeout=1000)

data = op1.read().decode('gbk','ignore')

opene.close()

pattern = re.compile('    (.*?)

',re.s)

txts = re.findall(pattern,data)

s**efile(s**e_path,txts)

url_file.close()

雖然**還是有點瑕疵，還是分享給大家，一起改進

本文標題: python製作爬蟲採集**

本文位址:

Python 爬蟲（獲取小說）

以 筆趣閣 為例 需求 python3版本以上 安裝方法如下 先安裝python3 pip，然後檢查下版本，如果版本可以公升級，就 upgrade pip 一下，然後再安裝beautifulsoup4 sudo apt get install python3 pip pip3 version pip...

python 爬蟲，抓取小說

coding utf 8 from bs4 import beautifulsoup from urllib import request import re import os,time 訪問url，返回html頁面 defget html url req request.request url ...

python 爬蟲東宮小說

2k 網爬取最近大火的 東宮 借鑑之前看過的一段 修改之後，進行簡單爬取。from urllib import request from bs4 import beautifulsoup url req request.request url response request.urlopen req...