# 課程介紹
1.python的基本語法知識
2.如何抓取html頁面
http請求的樹立, urllib, urllib2, requests
處理後的請求可以模擬瀏覽器傳送請求,獲取伺服器響應的檔案
3.解析響應頁面的內容
re、xpath、beautifulsoup4(bs4) 、jsonpath、 pyquery等
使用某種描述性來給我們需要提取的資料定義乙個匹配規則
符合這個規則的資料就會被匹配
4.如何採集動態html、驗證碼的處理
通用的動態頁面採集:selenium phantomjs(無介面瀏覽器):模擬真實瀏覽器載入js、ajax等非靜態的頁面資料
tesseract:機器學習庫 機器影象識別系統,可以處理簡單的驗證碼.複雜的驗證碼可以通過手動輸入/打碼平台
5.scrapy框架(scrapy, pyspider)
6.分布式策略:
scrapy redis, 在scrapy的基礎上新增了一套以redis資料庫為核心的一套元件,讓scrapy框架支援分布式的功能,主要在redis裡做請求指紋去重、請求分配、資料臨時儲存
7.爬蟲 反爬蟲 反反爬蟲 之間的鬥爭
其實爬蟲做到最後,最頭疼的不是複雜的頁面,也不是晦澀的資料,而是**另一邊的反爬蟲人員
user agent、**、驗證碼、動態資料載入、加密資料
資料的價值是否值得去費勁做反爬蟲
1.機器成本 + 人力成本 > 資料價值,就不反了 一般做到封ip就結束了
2.面子的戰爭:
爬蟲和反爬蟲之間的鬥爭,最後一定是爬蟲獲勝
深度學習入門課程筆記01 概述
首先就由乙隻小貓帶咱們走進深度學習的世界吧！對於乙個輸入樣本來說，深度學習和機器學習有著相同的目的，就是要把這個樣本進行最準確的分類。咱們從肉眼看很容易這是乙隻貓，因為我們有著這麼多年的積累常識嘛！但是計算機可不這麼聰明一眼就能看得出來，在計算機中，乙個影象是由畫素點所構成的。這裡可能有同學對於計算...
深度學習入門課程筆記01 概述
首先就由乙隻小貓帶咱們走進深度學習的世界吧！對於乙個輸入樣本來說，深度學習和機器學習有著相同的目的，就是要把這個樣本進行最準確的分類。咱們從肉眼看很容易這是乙隻貓，因為我們有著這麼多年的積累常識嘛！但是計算機可不這麼聰明一眼就能看得出來，在計算機中，乙個影象是由畫素點所構成的。這裡可能有同學對於計算...
深度學習入門課程學習筆記01 概述
首先就由乙隻小貓帶咱們走進深度學習的世界吧！對於乙個輸入樣本來說，深度學習和機器學習有著相同的目的，就是要把這個樣本進行最準確的分類。咱們從肉眼看很容易這是乙隻貓，因為我們有著這麼多年的積累常識嘛！但是計算機可不這麼聰明一眼就能看得出來，在計算機中，乙個影象是由畫素點所構成的。這裡可能有同學對於計算...