Python的簡易爬蟲

2021-10-01 01:47:14 字數 825 閱讀 4571

上**:

# coding: utf-8


import requests


url = ""


wd = "joyful"


url = url + wd


#獲取鏈結到的頁面（html，就跟你右鍵瀏覽器檢視源**差不多）


r = requests.get(url)


#轉字串


string=r.text


def find(string):


#定義兩個變數：分別表示開始的字串，結束的字串，用於提取


#使用find找到開始和結束擷取的位置


start = string.find(begin)


stop = string.find(end)


sub_str = string[start:stop + len(end)]


print(sub_str)


count = string.count(begin)


for x in range(0,count):


start = string.find(begin,stop)


stop = string.find(end,start)


sub_str = string[start:stop + len(end)]


print(sub_str)


find(string)
可以說爬蟲的基礎就是這樣了，更厲害的爬蟲也是這種思路，在爬取到的頁面上採集資訊，就是爬蟲。

如有錯誤請大佬指教，萬分感謝

Python簡易爬蟲

服務端 from flask import flask,request import os defshow if os.path.exists students.txt st st st fobj open students.txt rt encoding utf 8 while true 讀取一行...

python簡易爬蟲製作

編譯環境 pycharm 4.5.3 python版本 3.5.1 以knewone為例 frombs4importbeautifulsoup importrequests importtime url web data requests.get url 利用requests訪問網頁 soup be...

2015 12 25Python 簡易爬蟲

使用python2.7.11版本 建立新的python file usr bin env python 指定用什麼直譯器執行指令碼以及直譯器所在的位置 coding utf 8 指定檔案編碼為utf 8 import urrlib2 if name main 提供乙個入口 設定 request 的u...