Python爬蟲(一) 編寫簡單爬蟲之新手入門

2021-08-29 07:28:33 字數 919 閱讀 8717

最近學習了一下python的基礎知識,大家一般對「爬蟲」這個詞,一聽就比較熟悉,都知道是爬一些**上的資料,然後做一些操作整理,得到人們想要的資料,但是怎麼寫乙個爬蟲程式**呢?相信很多人是不會的,今天寫乙個針對新手入門想要學習爬蟲的文章,希望對想要學習的你能有所幫助~~廢話不多說,進入正文!

1、首先**使用python3.x編寫的,要有乙個本地的python3環境。

2、然後要有乙個開發工具,推薦pycharm,一款很好的python互動ide。python自帶編譯器 -- idle也可以。

3、準備工作都做好就可以做開發在ide裡編寫**程式了。

以豆瓣網為例,爬取豆瓣官網頁面,看看能獲取到什麼東西,**如下:

# -*- coding: utf-8 -*-

import urllib.request

# 1、**url --豆瓣網

url = ''

# 2、直接請求 返回結果

response = urllib.request.urlopen(url)

# 3、獲取狀態碼,如果是200表示獲取成功

print ('狀態碼:',response.getcode())

# 4、讀取內容

data = response.read()

# 5、設定編碼

data = data.decode('utf-8')

# 6、列印結果

print (data)

擷取部分**如下,第一行是狀態碼:200,表明獲取成功,下面是爬取到的豆瓣頁面**,由於內容過多,故擷取以下部分內容。

感興趣的小夥伴可以動手試試,歡迎交流~~

python爬蟲簡單 python爬蟲 簡單版

學過python的帥哥都知道,爬蟲是python的非常好玩的東西,而且python自帶urllib urllib2 requests等的庫,為爬蟲的開發提供大大的方便。這次我要用urllib2,爬一堆風景。先上重點 1 response urllib2.urlopen url read 2 soup...

Python爬蟲 編寫簡單爬蟲之新手入門

最近整理了一下python的基礎知識,大家一般對 爬蟲 這個詞,一聽就比較熟悉,都知道是爬一些 上的資料,然後做一些操作整理,得到人們想要的資料,但是怎麼寫乙個爬蟲程式 呢?相信很多人是不會的,今天寫乙個針對新手入門想要學習爬蟲的文章,希望對想要學習的你能有所幫助 廢話不多說,進入正文!1 首先 使...

python爬蟲入門簡單爬蟲

coding utf 8 from bs4 import beautifulsoup,soupstrainer from threading import lock,thread import sys,time,os from urlparse import urlparse,urljoin fro...