andrew ng今天來清華作報告，我就幾點重要的內容，談談理解和想法。
1）特徵表示的粒度
學習演算法在乙個什麼粒度上的特徵表示，才有能發揮作用？就乙個來說，畫素級的特徵根本沒有價值，無法進行電單車正例和負例的區分，而如果特徵是乙個具有結構性（或者說有含義）的時候，比如是否具有handlebars，是否具有wheel，就很容易把正例和負例區分，學習演算法才能發揮作用。
2）初級（淺層）特徵表示
既然畫素級的特徵表示方法，沒有作用，什麼有作用呢？
ng報告中說sparse coding的方法，也就是複雜圖形，往往由有些基本結構組成，比如色彩可以由三原色按照一定的配比調成。ng給了乙個圖用64種正交的edges（可以理解成正交的基本結構）線性的表示。比如樣例的x可以用1-64個edges中的三個按照0.8,0.3,0.5的權重調和而成。而其他基本edge沒有貢獻，因此均為0
當然，如何發現這64個正交的結構，沒有進一步闡明，同時後面還提出了某**從未標註的聲音中發現了20種基本的聲音結構，其餘的聲音可以由這20種基本結構合成。
3）結構性特徵表示
小塊的圖形可以由基本edge構成，更結構化，更複雜的，具有概念性的圖形如何表示呢？這就需要更高層次的特徵表示，比如v2，v3。因此v1看畫素級是畫素級。v2看v1是畫素級，這個是層次遞進的，就好像高中生看初中生*****，大學生看高中生*****一樣。
4）需要有多少個特徵？
我們知道需要層次的特徵構建，有淺入深，但每一層該有多少個特徵呢？
ng表示，任何一種方法，只要特徵足夠多，效果總能提高，但特徵多意味著計算複雜，探索的空間大，可以用來訓練的資料在每個特徵上就會稀疏，都會帶來各種問題，並不一定特徵越多越好。
從文字來說，文字這個概念或者說一句話，乙個doc表示什麼意思這件事情，用什麼來表示比較合適？用乙個乙個字嘛，我看不是，字就是畫素級別了，起碼應該是term，換句話說每個doc都由term構成，但這樣表示概念的能力就夠了嘛，可能也不夠，需要再上一步，達到topic級，有了topic，再到doc就合理。但每個層次的數量差距很大，比如doc表示的概念->topic（千-萬量級）->term（10萬量級）->word（百萬量級）。
乙個人在看乙個doc的時候，眼睛看到的是word，由這些word在大腦裡自動切詞形成term，在按照概念組織的方式，先驗的學習，得到topic，然後再進行高層次的learning。
從報告還可以看出，谷歌公司在影象，聲音方面投入了巨大的力量，而且機器學習，deep learning應該在影象和聲音上，有巨大的機會。
另外deep的含義就是多層神經元網路，每一層代表一種層次的概念，越往下概念的正交性越好，越往上概念的正交性越差，越具有相似度。因為高層概念彼此可能互相包含了相同的基本結構。
高層概念分離出基本結構的方法也很容易理解，就是打散了聚類，比如doc可以通過lda的方法搞出topic，有限個topic就可以描述乙個doc，topic內部還可以通過類似的方法，再打散了聚類，得到更淺層的topic，這個可以試驗試驗，ng沒有細說，我感覺是這樣。
ng的報告ppt沒有流出，找了個比較接近的，供大家系統學習：
Andrew Ng 機器學習
1.機器學習讓機器獲得學習的能力，而不需要明確的程式設計。samuel 寫了乙個跳棋遊戲程式，但是跳棋的規則並沒有寫到 中。相反，該程式通過自己和自己下跳棋，在這個過程中記錄什麼樣的局面會有什麼樣的結果。隨著局數的增加，該程式真的成了乙個高水平跳棋程式，打敗了samuel本人。對於任務t和衡量p，如...
Andrew Ng 機器學習筆記（三）
欠擬合與過擬合的概念 如果我們以乙個房價的訓練集來做出乙個線性的 如果我們做乙個一次函式，那房價的 線條應該是乙個向上攀公升的直線 如果做乙個二次函式，可能有些部分會陡一點有些部分會平緩一點，像是右邊那樣 引數學習演算法 引數學習演算法是一類有固定數目的引數來進行資料擬合的辦法。非引數學習演算法 它...
Andrew Ng機器學習筆記1
姐姐也要學習機器學習啦，好多人都推薦了吳恩達的機器學習課程，所以我也打算試試看。立乙個flag 從今天開始，每天學習史丹福大學的公開課 機器學習課程 by andrew ng，自己推導公式，並做總結。希望大家跟我一起學習 討論 總結的太多我也會不想看，已經知道的知識也不想總結，那樣以後複習的時候也不...