1.python 爬蟲介紹
爬蟲:一段自動抓取網際網路資訊的程式,從網際網路上抓取對於我們有價值的資訊。
url管理器:包括待爬取的url位址和已爬取的url位址,防止重複抓取url和迴圈抓取url,實現url管理器主要用三種方式,通過記憶體、資料庫、快取資料庫來實現。
網頁解析器:將乙個網頁字串進行解析,可以按照我們的要求來提取出我們有用的資訊,也可以根據dom樹的解析方式來解析。網頁解析器有正規表示式(直觀,將網頁轉成字串通過模糊匹配的方式來提取有價值的資訊,當文件比較複雜的時候,該方法提取資料的時候就會非常的困難)、html.parser(python自帶的)、beautifulsoup(第三方外掛程式,可以使用python自帶的html.parser進行解析,也可以使用lxml進行解析,相對於其他幾種來說要強大一些)、lxml(第三方外掛程式,可以解析 xml 和 html),html.parser 和 beautifulsoup 以及 lxml 都是以 dom 樹的方式進行解析的。
應用程式:就是從網頁中提取的有用資料組成的乙個應用。
下面用乙個圖來解釋一下排程器是如何協調工作的:
"第一種方法
"#獲取狀態碼,200表示成功
print response1.getcode()
#獲取網頁內容的長度
print len(response1.read())
"第二種方法
"request =urllib2.request(url)
#模擬mozilla瀏覽器進行爬蟲
request.add_header(
"user-agent
","mozilla/5.0")
response2 =urllib2.urlopen(request)
print response2.getcode()
print len(response2.read())
"第三種方法
"cookie =cookielib.cookiejar()
#加入urllib2處理cookie的能力
beautiful soup: python 的第三方外掛程式用來提取 xml 和 html 中的資料,官網位址
1、安裝 beautiful soup
開啟 cmd(命令提示符),進入到 python(python2.7版本)安裝目錄中的 scripts 下,輸入 dir 檢視是否有 pip.exe, 如果用就可以使用 python 自帶的 pip 命令進行安裝,輸入以下命令進行安裝即可:
pip install beautifulsoup42、測試是否安裝成功編寫乙個 python 檔案,輸入:
import bs4執行該檔案,如果能夠正常輸出則安裝成功。print bs4
#!/usr/bin/python# -*- coding: utf-8 -*-import re
from
bs4 import beautifulsoup
html_doc = """
class="
title
">the dormouse'
s story
class="
story
">once upon a time there were three little sisters; and their names were
""class="
sister
" id="
link1
">elsie,"
"class="
sister
" id="
link2
">lacie
and"
"class="
sister
" id="
link3
">tillie
;and they lived at the bottom of a well.
class="
story
">...
"""#建立乙個beautifulsoup解析物件
soup = beautifulsoup(html_doc,"
html.parser
",from_encoding="
utf-8")
#獲取所有的鏈結
links = soup.find_all('a'
"所有的鏈結
"for link in
links:
print link.name,link[
'href
'],link.get_text()
"獲取特定的url位址
"link_node = soup.find('
a',href="
")print link_node.name,link_node[
'href
'],link_node['
class
'],link_node.get_text()
"正規表示式匹配
"link_node = soup.find('
a',href=re.compile(r"ti"
))print link_node.name,link_node[
'href
'],link_node['
class
'],link_node.get_text()
"獲取p段落的文字
"p_node = soup.find('
p',class_='
story')
print p_node.name,p_node[
'class
'],p_node.get_text()
python爬蟲介紹 python 爬蟲簡介
初識python爬蟲 網際網路簡單來說網際網路是由乙個個站點和網路裝置組成的大網,我們通過瀏覽器訪問站點,站點把html js css 返回給瀏覽器,這些 經過瀏覽器解析 渲染,將豐富多彩的網頁呈現我們眼前 一 什麼是爬蟲 網路爬蟲 又被稱為網頁蜘蛛,網路機械人,在foaf社群中間,更經常的稱為網頁...
python爬蟲學習 01爬蟲介紹
前戲 1.你是否在節假日出行高峰的時候,想快速搶購火車票成功 2.你是否在網上購物的時候,想快速且精準的定位到口碑質量最好的商品 什麼是爬蟲 通過編寫程式,模擬瀏覽器上網,然後讓其去網際網路上抓取資料的過程。爬蟲的價值 實際應用 就業 爬蟲究竟是合法還是違法的?如何在使用編寫爬蟲的過程中避免進入局子...
Python 網路爬蟲介紹
在隨著大資料時代的到來,網路爬蟲在網際網路中的地位也越來越重要。而網際網路中的資料是海量存在的,那麼我們如何自動高效地獲取網際網路中我們感興趣的資訊並為我們所用就成了乙個重要的問題,而爬蟲技術就是為了解決這些問題而產生的。網路爬蟲 網路爬蟲是一種按照一定規則,自動抓取全球資訊網資訊的程式或指令碼。簡...