天池FashionAI全球挑戰賽小小嘗試

前些天從實驗室了解到天池的fashionai全球挑戰賽，題目和資料都挺有意思，於是花了點時間稍微嘗試了下。目前比賽還在初賽階段，題目有兩個，分別是服裝屬性標籤識別和服飾關鍵點定位。

服裝屬性標籤識別是指識別出領、袖、衣、裙、褲等部位的設計屬性，對應多個多分類問題，例如以下的例子。

服飾關鍵點定位是指定位出服飾中關鍵點的位置，對應多個回歸問題，例如以下的例子。

這和celeba（mmlab.ie.cuhk.edu.hk/projects/ce…）人臉資料集有點像，每張都是一張人臉，對應的標註包括5個關鍵點位置和40個屬性的01標註，例如是否有眼鏡、帽子、鬍子等。

我選了第二道題目，一方面感覺有人臉關鍵點檢測、人體骨骼關鍵點檢測等相關問題可供參考，去年的ai challenger也舉辦過人體骨骼關鍵點檢測的比賽（challenger.ai/competition…），另一方面自己還沒有做過這塊內容，比較感興趣。

比賽官方提供的訓練集共包括4w多張，測試集共包括將近1w張，神奇的是訓練集和測試集有366張是完全重合的。每張都指定了對應的服飾，共5類：上衣（blouse）、外套（outwear）、連身裙（dress）、半身裙（skirt）、褲子（trousers）。

一共有24個關鍵點，但每類服飾對應的關鍵點數量並不一樣。關鍵點標註分為三類，-1表示不存在，0表示存在但不可見，1表示存在且可見，後兩種情況都會提供對應關鍵點的xy座標。

進行了相關的預處理之後，先嘗試下最基礎的結構，即卷積、池化加全連線。由於之前完全沒做過這一塊，所以網路的一些細節都只能慢慢嘗試，包括卷積用幾層、卷積核大小設多少、使用哪個啟用函式、使用哪個損失函式等等。

進行了長時間的摸索，終於折騰出第乙個全部打通的版本，提交了一版結果，成績大概30%左右。由於最後一層使用全連線層直接輸出每個關鍵點的xy座標，因此誤差比較大。

目前排行榜第一名是4.49%，佔榜很多天雷打不動，可見實力之強勁。

後來一想，像這模擬較經典的問題，肯定已經有大量的相關研究和模型，完全靠自己憑空搭乙個網路顯然不靠譜。於是進行了一些調研，找到兩個模型：convolutional pose machine、stacked hourglass。

精力有限，重點研究了一下cpm。閱讀了對應的**，2023年的cvpr，模型結構長這樣，簡單來說就是反覆使用多個stage，不斷抽取每個關鍵點對應的越來越準確的響應圖。

在github上找到了cpm的乙個開源實現（github.com/timctho/con…），閱讀**並進行修改後應用到比賽的資料上，在p100上訓練共花費30個小時左右。使用6個stage的cpm，為每個關鍵點生成一張響應圖。

以下是一張dress對應的結果，第一行的三張依次是第1個、第2個、第3個stage的響應圖合成結果，第二行的三張分別對應第6個stage的響應圖合成結果、正確答案、正確答案和原圖的合成，看起來還不錯。

再來看個outwear，響應圖也很準。

最後再看個trousers，關鍵點比較少，也很準。

又交了一版結果，拿到了17%的成績。由於cpm輸出關鍵點的響應圖而不是直接輸出關鍵點的xy座標，同時使用多個stage級聯以逐步獲取越來越準確的響應圖，因此可以取得更好的結果。

可能的改進包括多個方面：

雖然有很多可能的改進方向，不過由於自己之前沒有做過關鍵點檢測這類問題，所以繼續折騰下去只能靠運氣各種嘗試，而且每次嘗試都需要等待很久的模型訓練時間。

相比之下，對於一些在關鍵點檢測領域有相當積累的團隊和個人，他們有著豐富的經驗和現成的**，和他們競爭還是相當有難度的。看一下排行榜，第一名的4.49%至今無人能超越，前三十名也都在12%以下。

而且個人事情也比較多，時間和精力都十分有限，所以決定這個比賽不再繼續嘗試，感覺做到這一步就可以了。

通過這次比賽，了解了關鍵點檢測這類問題的一些解決方法，並嘗試用cpm進行了一些實踐，對自己而言已經滿足了。

等比賽結束後，再關注一下冠軍團隊的解決方案，好好學習一波。