聚焦網路爬蟲也叫主題網路爬蟲，顧名思義，聚焦網路爬蟲是按照預先定義好的主題有選擇地進行網頁爬取的一種爬蟲，聚焦網路爬蟲不像通用網路爬蟲一樣將目標資源定位在全網際網路中，而是將爬取的目標網頁定位在與主題相關的頁面中，此時，可以大大節省爬蟲爬取時所需的頻寬資源和伺服器資源。
聚焦網路爬蟲主要應用在對特定資訊的爬取中，主要為某一類特定的人群提供服務。
聚焦網路爬蟲主要由初始url集合、url佇列、頁面爬行模組、頁面分析模組、頁面資料庫、鏈結過濾模組、內容評價模組、鏈結評價模組等構成。內容評價模組可以評價內容的重要性，同理，鏈結評價模組也可以評價出鏈結的重要性，然後根據鏈結和內容的重要性，可以確定哪些頁面優先訪問。
聚焦網路爬蟲的爬行策略主要有4種，即基於內容評價的爬行策略、基於鏈結評價的爬行策略、基於增強學習的爬行策略和基於語境圖的爬行策略。
以上就是關於聚焦網路爬蟲的詳細介紹了，希望能夠幫助大家更深入的了解爬蟲。
爬蟲養成記 什麼是網路爬蟲
趁著春節，希望能寫乙個小小的網路爬蟲框架。先定乙個小目標，希望能比較優雅地將某個 上的所有爬下來。暫時先將這個爬蟲的名字叫做squirrel，小松鼠吧。爬蟲其實是一種從網際網路上獲取資訊，並且提取我們需要的資訊並且儲存的手段。網際網路就像一張網，這種網是由乙個個url相互連線的。乙個url往往是對應...
Python網路爬蟲 一 什麼是爬蟲
網路爬蟲 web crawler 一般被用來採集網路上的資訊，也叫做網路鏟 web scraper 網路蜘蛛 web spider 顧名思義，網路爬蟲就是先爬到要採集的網頁上，然後對資料資訊進行採集。1.了解爬蟲的工作原理 2.http抓取工具 3.高階功能 網際網路最早是作為科研資訊的一種交流方式...
什麼是網路爬蟲，我們為什麼要學習網路爬蟲？
網路爬蟲又稱網路蜘蛛 網路螞蟻 網路機械人等，可以自動化瀏覽網路中的資訊，當然瀏覽資訊的時候需要按照我們制定的規則進行，這些規則我們稱之為網路爬蟲演算法。使用python可以很方便地編寫出爬蟲程式，進行網際網路資訊的自動化檢索。我們已經初步認識了網路爬蟲，但是為什麼要學習網路爬蟲呢?要知道，只有清晰...