最近學習了一下python的基礎知識,大家一般對「爬蟲」這個詞,一聽就比較熟悉,都知道是爬一些**上的資料,然後做一些操作整理,得到人們想要的資料,但是怎麼寫乙個爬蟲程式**呢?相信很多人是不會的,今天寫乙個針對新手入門想要學習爬蟲的文章,希望對想要學習的你能有所幫助~~廢話不多說,進入正文!
1、首先**使用python3.x編寫的,要有乙個本地的python3環境。
2、然後要有乙個開發工具,推薦pycharm,一款很好的python互動ide。python自帶編譯器 -- idle也可以。
3、準備工作都做好就可以做開發在ide裡編寫**程式了。
以豆瓣網為例,爬取豆瓣官網頁面,看看能獲取到什麼東西,**如下:
# -*- coding: utf-8 -*-
import urllib.request
# 1、**url --豆瓣網
url = ''
# 2、直接請求 返回結果
response = urllib.request.urlopen(url)
# 3、獲取狀態碼,如果是200表示獲取成功
print ('狀態碼:',response.getcode())
# 4、讀取內容
data = response.read()
# 5、設定編碼
data = data.decode('utf-8')
# 6、列印結果
print (data)
擷取部分**如下,第一行是狀態碼:200,表明獲取成功,下面是爬取到的豆瓣頁面**,由於內容過多,故擷取以下部分內容。
感興趣的小夥伴可以動手試試,歡迎交流~~
python爬蟲簡單 python爬蟲 簡單版
學過python的帥哥都知道,爬蟲是python的非常好玩的東西,而且python自帶urllib urllib2 requests等的庫,為爬蟲的開發提供大大的方便。這次我要用urllib2,爬一堆風景。先上重點 1 response urllib2.urlopen url read 2 soup...
Python爬蟲 編寫簡單爬蟲之新手入門
最近整理了一下python的基礎知識,大家一般對 爬蟲 這個詞,一聽就比較熟悉,都知道是爬一些 上的資料,然後做一些操作整理,得到人們想要的資料,但是怎麼寫乙個爬蟲程式 呢?相信很多人是不會的,今天寫乙個針對新手入門想要學習爬蟲的文章,希望對想要學習的你能有所幫助 廢話不多說,進入正文!1 首先 使...
python爬蟲入門簡單爬蟲
coding utf 8 from bs4 import beautifulsoup,soupstrainer from threading import lock,thread import sys,time,os from urlparse import urlparse,urljoin fro...