擋在大規模ai應用從ppt到gdp征途中的最大障礙———巨大的資料標註成本，是乙個棘手的問題。
簡單如識別一張圖中是否有喵，就得動輒上萬張各種姿勢的喵圖外帶上萬張不是喵的圖餵給饕餮一樣的神經網路。這裡面的痛點就是你不僅要蒐集這些圖，還得劃分每張圖的種類，那如果要搞乙個能識別所有動物的機械人得花費多少心血。現在，如果給你乙個模型，不需要標註，只要寫個爬蟲讓它自己在網上看圖看片，它就自己琢磨出了圖裡面到底是什麼個東西，是不是會感覺賽博朋飛公升之日可期可盼？
這篇文章就提供了這麼一種方法，不過暫時，要做出這麼個機器需要上百張tpu（百萬大洋）。作者是圖靈獎獲得者的hinton教授，文章沒有複雜的數學公式，也沒有太多奇淫巧計，因此也不那麼晦澀難懂。
當前分類問題的流行思路就是，將原始特徵（如圖、音訊）對映到乙個線性可分的空間。那麼，simclr就是試圖去學習這麼乙個空間。
訓練準則可以簡化成如下步驟：
找乙個影象資料集，如cifar10、imagenet，也可以是網上蒐集的一堆圖
在每一步訓練中，抽出一批影象，如n張圖
這n張圖的每一張都做一次隨機資料增強，這樣一共就有2n張圖
經過乙個網路f對映到空間h, 這個h就是想要得到的目標空間
擬定只要是同一張圖衍生的匹配對，就是正例，否則是反例。使用乙個比較函式統計損失更新引數
重複2上述過程中，比較函式為乙個兩層（帶relu）的mlp（g）外加乙個cosine匹配函式:
\[sim(h_i, h_j) = \frac \\
l_ = -log \frac}^ 1_ e^} \\
l_ = \frac \sum_^n l(2k-1, 2k) + l(2k, 2k-1) \\
\]以上公式中，如果原始影象序列設為 x,y,z 那麼擴充後的處理序列為 x,x',y,y',z,z'，係數tau設定為0.1最好。
使用了256到8192張圖每乙個batch，可想而知多麼吃視訊記憶體。因為每一批容量很大所以使用了lars優化器，這個優化器是專門應對大batch使用的。
同時，該方法還用了gn，主要就是平均多卡的均值與方差，可以看作bn的多卡版本。
以下實驗結果表明，隨機裁剪與顏色變換的組合在imagenet上準確率最高：
文章中指出了，資料增強對該方法來說十分重要。
以下結論也十分重要，道出了這個g對映的重要性：
訓練結果看起來很香，特別地，更長的訓練週期以及更大的batch效果更好：
現在很多研究一直致力於得到乙個強有力的表示空間h能夠正確地表示一些常見的特徵分布（比如如果用來區分動物，這些特徵有眼睛形狀、毛髮長度、四肢、是否直立、頭長哪屁股長哪等等）。有監督學習的目標就是要確保同種類別在特徵空間h的表示盡可能相似。對於沒有標註的影象，唯一能確定的是，與影象x同類的影象就是它自己或者它自己的增強。simclr就是那麼乙個大力出奇蹟的方法，它假設任意一張圖及其的增強為乙個類，使用乙個超大的樣本集合（batrch）來訓練乙個近乎無限類別的任務，試圖最終得到乙個能提取任意一張圖中某些不變（裁剪、旋轉、平移、顏色變換）特徵的對映方法（這裡就是卷積神經網路）。那麼，蘊含在其中的這些不變性，可能就是眼睛、毛髮、軀幹形狀等等特徵的一些與或組合、分布以及關係。
教父馬雲的經典語錄彙總
近日，馬雲通過阿里巴巴內部郵箱向員工通知了自己將在今年5月10日卸任阿里巴巴ceo的訊息。作為乙個創業13年，把阿里巴巴變成中國最大的電子商務平台的教父級人物，馬雲有他艱辛的創業經歷和獨特的管理思維。且通過馬雲的一些話，向這位傳奇致敬。一 談創業 1 所有的創業者應該多花點時間，去學習別人是怎麼失敗...
grafana的安裝並新增zabbix監控
軟體版本 linux centos 7.5 grafana 6.4.4 zabbix 3.4.15 zabbix plugin for grafana 3.11.0 內網環境 grafana 6.4.4 1.x86 64.rpm alexanderzobnin grafana zabbix v3.1...
亞洲教父 香港，東南亞的金錢和權利
讀了這本書，我才意識到東南亞真的是受汗文化影響巨大，緬甸，泰國，馬來西亞，新加坡 華人具有巨大的社會地位，漢文化影響頗具 中國，果然曾經輝煌過，也注定將來也會輝煌下去 1.書中說，東南亞的教父，家長 子女必須絕對的服從，這個是真的嗎？應該不是吧，這都什麼年月了，怎麼還這樣？但是香港，台灣這些地方的確...