我的第二個Python爬蟲

2021-10-01 10:55:25 字數 1709 閱讀 7953

上次寫了乙個爬取詩詞名句網的**後,發現爬蟲很有意思,且我也是乙個**迷,作為學生黨資金有限,經常去筆趣閣看**,就試著寫了乙個爬取新筆趣閣**的python爬蟲,因沒有經過專業學習,所以還有很多不足,請見諒!
**下面是我的**,每一步都有相應的注釋**

import urllib.request

import requests

from bs4 import beautifulsoup

import re

import time

#請求頭

headers=

url=

""#**所在位址

req=urllib.request.urlopen(url)

.read(

).decode(

'utf8'

)res= r''

urls=re.findall(res,req)

#正則找到href

f =open

('g://元尊.txt'

,'a'

, encoding=

'utf8'

)#建資料夾,位址可以改

f.write(

'元尊'

)#寫入**名字

a=int

(len

(urls)

)#由於urls是乙個列表,得到長度

for i in

range

(a):

urls1=urls[i]

#取出herf

sq = urls1.replace(

'\"',""

)#替換掉urls1兩端的引號

urlls=

''+sq #拼湊章節url

# 對url發起請求

s1 = requests.session(

) r1 = s1.get(urlls,headers=headers)

r1.encoding =

'utf-8'

ren = r''

name = re.findall(ren, r1.text)[0

]#正則得到章節名name

# 用beautifulsoup提取出章節內容

request = urllib.request.urlopen(urlls)

.read(

).decode(

'utf8'

) soup = beautifulsoup( request,

'lxml'

) ao = soup.find(

'div',id

="content"

) lists=ao.get_text(

) f.write(

'\n'*4

+'\t'*6

+name+

'\n'*2

+lists)

#寫入章節內容#

print

(+name+

'.......'

) time.sleep(1)

#延時請求

print()

f.close(

)

由於還在學習中,所以程式看著有點亂,下面是執行結果:

我的第二個android專案

很早就想學習android程式設計了,奈何太懶。現在我跟android官方文件做了個專案,挺簡單的。我只貼上核心 吧。它有兩個活動,在第乙個活動中輸入文字,第二個活動中展示。第乙個活動 mainactivity 類檔案package com.example.myhelloworld import a...

我的第二個程式設計實驗

源 參見 原作者的源 沒有問題,但是在命令列裝載模組的時候出錯了,注意那個 mybyte 255 是錯的,必須嚴格按照模組定義的變數來書寫名字,按照 原作者的意圖,應該改作 myshort 255 這樣兩個程式就能夠成功執行了。注意,命令列輸入模組引數要求是非常嚴格的,哪個多打乙個空格都會出問題,比...

第二個作業!

作業要求 從鍵盤輸入乙個四位正整數。首先分離出該正整數中的每一位數字,並按逆序顯示輸出各位數字 然後用分離出的每位數字組成乙個最大數和乙個最小數,並顯示輸出。例如,若輸入的四位正整數為3175。按逆序顯示輸出分離出的各位數字為5713 組成的最大數為7531,組成的最小數為1357。具體要求 1 輸...