（工作總結途家業務）關於途家網爬蟲的一點總結

由於公司民宿的業務需求，需要 - 在未登入情況下基於爬蟲針對途家網的**的房態、**、**資訊、上下架情況等進行實時追蹤， - 在登入情況下，同步房東端的**、訂單、賬單等資訊; - 在登入情況下，完成房東**的開關房、上下架、改價、改庫存等操作； - 完成自動登入獲取cookie的操作；

**其中房態與**為業務核心**

1.pc網頁階段； 2.手機h5階段；

5.佛系階段；

1.pc網頁階段：

*此時期，所有爬蟲模組均為基於scrapy的單機式爬蟲，業務量規模較小，所有介面均為途家網網頁端介面；

*工作難點在於介面的js加密的逆向，破解tjh等相關引數的生成方式，debug時會有無限死迴圈函式導致chrome卡死，最終解決方案是一步一步單步除錯，完全破解加密引數，使用python重寫js的加密邏輯，也可以使用execjs呼叫js核心**；

2.手機h5階段：

*基於pc介面破解的方式存在兩個弊端，一是途家tjh加密版本經常公升級，導致爬蟲也失效；二是會產生假的資料，髒資料會汙染生產環境。在某個版本後發現途家h5端雖有加密引數但是加密引數不生效，遂改成此介面，但不久h5介面亦有加密引數，因此該階段只是過渡，此時業務量一般；

*此階段業務量繼續飛速擴張，**數量已達數萬套，同時對多個模組進行了改造，自建了分布式的系統以保證及時性

5.佛系階段：

* 可以看出途家做了極多的反爬措施，無論是假資料、js加密，還是各種極高耦合性的加密引數，還是ip或者登陸校驗，以至於現在取消了pc網頁端的情況，但目前來看都不是很難攻克。

（工作總結 途家業務）關於途家網爬蟲的一點總結