很久以前寫了一篇爬蟲的文章，把它放在csdn上(livan1234)沒想到點選量竟然暴漲，足以看到大家在資料獲取方面的需求，爬蟲技術現在已經非常普遍，其用途也非常廣泛，很多牛人在各個領域做過相關的嘗試，比如：
1)爬取汽車之家資料，利用論壇發言的抓取以及nlp，對各種車型的車主做畫像。
2)抓取各大電商的評論及銷量資料，對各種商品(顆粒度可到款式)沿時間序列的銷量以及使用者的消費場景進行分析。
3)還可以根據使用者評價做情感分析，實時監控產品在消費者心目中的形象，對新發布的產品及時監控，以便調整策略。
4)抓取房產買賣及租售資訊，對熱熱鬧鬧的房價問題進行分析。
5)抓取大眾點評、美團網等餐飲及消費類**：各種店面的開業情況以及使用者消費和評價，了解周邊變化的口味，所謂是「舌尖上的爬蟲」。以及各種程式設計客棧變化的口味，比如：啤酒在衰退，重慶小麵在崛起。
6) 58 同城等分類資訊**：抓取招商加盟的資料，對定價進行分析，幫助網友解惑。
7)拉勾網、中華英才網等招聘**：抓取各類職位資訊，分析最熱門的職位以及薪水。
8)**網等醫療資訊**：抓取醫生資訊並於巨集觀情況進行交叉對比。
9)應用寶等app市場：對各個app的發展情況進行跟蹤及**。(順便吹一下牛，我們這個榜單很早就發現小紅書app的快速增長趨勢以及在年輕人中的極佳口碑)
10)攜程、去哪兒及 12306 等交通出行類**：對航班及高鐵等資訊進行抓取，能從乙個側面反映經濟是否正在走入下行通道。
11)雪球等財經類**：抓取雪球kol或者高回報使用者的行為，找出推薦**
12) 58 同城二手車、易車等汽車類**：什麼品牌或者型號的二手車殘值高?更保值?反之，什麼型別的貶值較快?- 二手車，找出最佳的買車時間以及最保值的汽車。
13)神州租車、一嗨租車等租車類**：抓取它們列舉出來的租車資訊，長期跟蹤租車**及數量等資訊。
14)各類信託**：通過抓取信託的資料，了解信託專案的型別及規模。其實還有很多資料，不一一枚舉了。
上次的文章是在討論移動端的資料獲取：點此檢視
本文對爬蟲做乙個全面的總結，不一定包治百病，但是能治好大部分疾病，希望能夠對大家有所幫助：
1、 urllib 庫：這是乙個在爬蟲領域繞不開的庫，他支援 http 的爬取，幾乎可以取到方方面面的內容。
以下面的豆瓣案例做乙個簡要的解釋：
豆瓣小案例：
常用函gkctpuw數：
2、超時設定：
由於網路速度或者對方伺服器的問題，我們爬取乙個網頁的時候，都需要設定時間，我們訪問乙個網頁，如果該網頁長時間未響應，那麼我們的系統就會判斷該網頁超時了，即無法開啟該網頁。
有時候，我們需要根據自己的需求，來設定超時的時間值，比如：有些**會反應快，我們希望 2 秒種沒有反應則判斷為超時，那麼此時，timeout= 2 即為設定方式，即在 urlopen 中加入 timeout 引數。再比如，有些**伺服器反應慢，那麼我們希望 100 秒沒有反應，才判斷超時，此時的timeout即設定為100，接下來為大家講解爬蟲超時的設定。
3、自動模擬 http 請求：
客戶端如果要與伺服器端進行通訊，需要通過http進行請求，http請求有很多種，我們在此會講post與get兩種請求方式，比如登入、搜尋某些資訊的時候會用到。
1)處理 get 請求：
2)理 post 請求：
所謂post請求即為 html 的 form 中存在 method=「post」的標籤，如下文：
一文搞懂transform skew
目錄 如何理解斜切 skew，先看乙個 demo。在下面的 demo 中，有 4 個正方形，分別是 紅色 不做 skew 變換，綠色 x 方向變換，藍色 y 方向變換，黑色 兩個方向都變換，拖動下面的滑塊可以檢視改變 skew 角度後的效果。切換 selector 可以設定 transform or...
一文讓你搞懂高大上的MQ訊息佇列
我們可以把訊息佇列比作是乙個存放訊息的容器，當我們需要使用訊息的時候可以取出訊息供自己使用。訊息佇列是分布式系統中重要的元件，使用訊息佇列主要是為了通過非同步處理提高系統效能和削峰 降低系統耦合性。說白了，mq就是乙個訊息中介軟體，它在訊息傳送上游和訊息接收下游之間，使用了mq之後，訊息的上下游之間...
一文搞懂property函式
接下來我帶大家了解乙個函式的作用以及使用技巧，希望對大家都有幫助，話不多說，接下來就開始我的表演特性 首先property有兩種用法，一種是作為函式的用法，一種是作為裝飾器的用法，接下來我們就逐一分析 property函式 看一下作為函式它包含的引數都有哪些 property fget none,f...