Python 網路爬蟲

2022-09-28 06:21:09 字數 985 閱讀 5470

和獲取網頁上的資訊不同,想要進行模擬登入還需要向伺服器傳送一些資訊,如賬號、密碼等等。

1.先將登入**的程式設計客棧隱藏資訊找到,並將其內容先進行儲存(由於我這裡登入的**並沒有額外資訊,所以這裡沒有進行資訊篩選儲存)

2.將資訊進行提交

3.獲取登入後的資訊

先給上原始碼

# -*- coding: utf-8 -*-

import requests

def login():

session = requests.session()

# res = session.get('').content

login_data =

session.post('/', data=login_data)

res = session.get('home/default')

print(res.text)

login()

一、篩選得到隱藏資訊

進入開發者工具(按f12),找到其中的network後,手動的先進行一次登入,找到其中的第乙個請求,在header的底部會有乙個data的資料段,這個就是登入所需的資訊。如果想對其中的隱藏資訊進行修改

先獲取網頁html的內容

res = session.get('').content

再通過正規表示式篩選內容

二、將資訊進行提交

找到原始碼中提交表單所需要的action,和method

使用session.post('(這裡就是提交的action)', data=login_data)

該方法提交資訊

三、獲取登入後的資訊

資訊提交後模擬登入就成功了

接下來就可以獲取登入後的資訊了

res = session.get('home/default').c程式設計客棧ontent

本文標題: python 網路爬蟲--關於簡單的模擬登入例項講解

本文位址: /jiaoben/python/229412.html

Python網路爬蟲

找到url,也就是相當於入口,找到你要爬取的鏈結,獲取整個頁面資料 使用正規表示式,匹配到你想要爬取的內容,這裡使用的主要是正規表示式和一些常用的開源庫 最後一步就是寫入文字以及儲存問題了,如文字檔案 資料庫 coding utf 8 是用來指定檔案編碼為utf 8 from urllib impo...

python網路爬蟲

這篇部落格簡單的實現了乙個網路爬蟲指令碼,所謂網路爬蟲就是從 某乙個頁面 通常是首頁 開始,讀取網頁的內容,找到在網頁中的其它鏈結位址,然後通過這些鏈結位址尋找下乙個網頁,這樣一直迴圈下去,直到把這個 所有的網頁都抓取完為止。下面就是乙個簡單地網路爬蟲程式 note 這個命令的意思是,從爬去尋找關鍵...

python網路爬蟲

前言去掉所有標籤 dr re.compile r re.s dd dr.sub jiner 任意內容 可以匹配多位數字 可以匹配用逗號隔開的數字 可以匹配一位的數字 可以匹配帶小數點的數字 匹配空白符 匹配最後兩位 re.search 0 9 0 9 0 9 s.dd 當然,爬蟲還有乙個很關鍵的就通...