q 1 :web crawling和web scraping的區別在**?
a 1: 簡單來說,web crawling指的僅僅是使用爬蟲機械人來索引網頁,檢視網頁的資訊,類似搜尋引擎的工作;而web scraping涉及到資料提取,儲存,計算等技術。scrapy 是web scrapying常用的乙個框架。
q2:爬蟲基本教程?
a2:step 1 : 使用urllib包得到網頁原始碼
step 2 : 把原始碼放進bs包裡,得到乙個soup
step 3:使用soup來得到各種標籤的內容
以上就是簡單的爬蟲步驟
q3:什麼是beautiful soup?
q3:在step1中得到的網頁,一般來說可以自行使用正規表示式來進行解析網頁,比如寫乙個定位< p > 標籤 或者< a > 標籤。但是很費時間,這時候,beaufifulsoup是乙個已經寫好了的包,可以直接使用。bs裡面有html解析器,xml解析器等。可以很方便的使用
q4 :什麼是scrapy?
a4:正如第一問所說, scrapy是乙個常用的商業框架,不僅可以簡單的爬取資料,還可以進行大量的資料處理,儲存,分析等功能。
oracle小知識(未完待續)
總結一下學習中碰到的知識 1,當前使用者檢視哪些使用者或角色有檢視自己的segment的許可權 select table name,grantee,privilege from user tab privs made where table name segment name 注 這裡的segmen...
css小技巧(未完待續。。。。)
css小技巧 1 在定位模式下,使用right覆蓋原有的left屬性,需將left設定為auto,再設定right即可 2 在做前端頁面結構時必須要考慮不同解析度顯示問題,最好是以乙個不變的div為父級進行定位這樣會比較好調整 3 強制一行顯示並顯示 overflow hidden text ove...
nginx 未完待續
yum install y pcre yum install y pcre devel yum install y openssl yum install y openssl devel yum install y zlib yum install y gccyum安裝 yum install y ...