機器學習- machine learning
今天下午，人工智慧老師剛講完機器學習，一想到3月份藍傑那邊上課的時候也通過機器學習的內容，像貝葉斯分類，貝葉斯選擇器之類的，
而我自己也沒有系統地總結機器學習的知識，趁著剛吃飽飯的舒服勁，來寫一篇關於機器學習的部落格。
what is machine learning？
machine learning :
computer automatically improves
at task t(任務)
according to performance metric p(效能)
through experience e(經驗)
—— tom mitchell，1997
這是湯姆·公尺切爾說的。意思就是，機器在執行任務時，通過執行任務的經驗，提高機器執行任務的效能，這是乙個動態的過程。
在生活中，有許多機器學習的例子，
例如，下棋
t: 下棋
p: 比賽中擊敗對手的百分比
e: 與自己對弈的訓練
手寫體識別
t: 識別手寫文字
p: 識別的正確率
e: 已經做好的具有代表性分類的手寫體資料庫
自動駕駛
t: 通過視覺感測器在高速路上自動駕駛
p: 平均無差錯行駛里程
e: 在觀察人的駕駛過程中記錄的一系列影象和駕駛指令資料庫。
機器學習是一項複雜的智慧型活動，學習過程與推理過程是緊密相連的，按照學習中使用的推理的多少，機器學習所採用的策略有如下：
rote learning(死記硬背式學習、機械學習)
memory-based
induction(歸納學習)
learning from examples (supervised)
dicision tree(決策樹學習)
learning from observation and discovery (unsupervised)
analogy (模擬學習)
according to the similarity of knowledge in different domain
explanation-based learning(解釋學習)
deduction and induction are combined
neural learning
clustering(聚類)
discovering similar group
reinforcement(增強學習）
機械學習：
最簡單的學習方法
機械學習就是記憶，即把新的知識儲存起來，供需要時檢索呼叫，也叫死記硬背學習，不需要計算和推理，
是一種最基本的學習過程。
機械學習的主要問題
儲存組織資訊：要採用適當的儲存方式，使檢索速度盡可能地快。
環境的穩定性與儲存資訊的適用性問題：機械學習系統必須保證所儲存的資訊適應於外界環境變化的需要。
儲存與計算之間的權衡：對於機械學習來說很重要的一點是它不能降低系統的效率。
歸納學習：
是應用歸納推理進行學習的一種方法根據歸納學習有無教師指導，可把它分為示例學習和觀察與發現學習。示例歸納學習的模式。
示例1：某天下雨，且自行車在路上出了毛病要修理，所以他上班遲到。
示例2：某天沒下雨，但交通堵塞，所以他上班遲到。
通過歸納歸結，得：
如果自行車在路上出了毛病要修理，或者交通堵塞，則他有可能上班遲到
曲線擬合
示例形式: (x, y, z)
示例1：(1,0,10)
示例2：(2,1,18)
示例3：(-1,-2,-6)
z=2x+6y+8
模擬學習：
模擬學習主要包括如下四個過程
輸入一組已知條件和一組未完全確定的條件，對兩組出入條件尋找其可模擬的對應關係，根據相似轉換的方法，進行對映，
對類推得到的知識進行校驗。
模擬學習的研究可分為兩大類。
問題求解型的模擬學習
**推定型的模擬學習（傳統的模擬法、因果關係型的模擬 ）
解釋學習：
解釋學習根據任務所在的只是領域和正在學習的概念知識，對當前例項進行分析和求解，得出乙個表徵求解的因果解釋樹，以獲取新的知識。
在獲取新的知識過程中，通過對屬性、表徵現象和內在關係等進行解釋而學習到新的知識。
1、利用基於解釋的方法對訓練例項進行分析與解釋，以說明它是目標概念的乙個例項。
2、對例項的結構進行概括性的解釋，建立該訓練例項的乙個解釋結構以滿足概念的定義，
3、從解釋結構中識別出訓練例項的特性，並且從中得到更大一類的例子的概括性描述，獲取一般控制知識。
即：給定：1、目標概念（要學習的概念）描述tc；
2、訓練例項（目標概念的乙個例項）te.
3、領域知識（由一組規則和事實組成的用於解釋訓練例項的知識庫dt.
4、操作準則。oc
求出：1、目標概念的充分概括描述。
2、操作準則。
神經學習：
神經學習是對人腦神經系統學習機理的一種模擬。
分類：有師學習：能夠根據期望的和實際 的網路輸出（對應於給定輸入）間的差來調整神經元間連線的強度。
無師學習：不需要知道期望輸出。
感知器學習（perceptron learning rule）
有師學習
權值調整公式
wij(t+1)=wij+r (di - oi) oj
wij ：i到j的權值 oi：i的實際輸出
r >0：學習常數 di： i的期望輸出
equivalent to rules:
if output is correct do nothing.
if output is high, lower weights on active inputs
if output is low, increase weights on active inputs
機器學習策略
翻譯很貼近它要表達的意思 恩達舉的例子 查準率的定義是在你的分類器標記為貓的例子中，有多少真的是貓。所以如果分類器a有95 的查準率，這意味著你的分類器說這圖有貓的時候，有95 的機會真的是貓。查全率就是，對於所有真貓的，你的分類器正確識別出了多少百分比。實際為貓的中，有多少被系統識別出來？如果分類...
機器學習ML策略
機器學習ml策略 1 為什麼是ml策略 例如 識別cat分類器的識別率是90 怎麼進一步提高識別率呢？想法 1 收集更多資料 2 收集更多的多樣性訓練樣本 3 使用梯度下降訓練更長時間 4 嘗試adam代替梯度下降 5 嘗試更大的網路 6 嘗試更小的網路 7 嘗試dropout 8 嘗試l2正則化 ...
機器學習 樹的剪枝策略
決策樹剪枝分前剪枝 預剪枝 和後剪枝兩種形式.決策樹為什麼 why 要剪枝？原因是避免決策樹過擬合 overfitting 樣本。前面的演算法生成的決策樹非常詳細並且龐大，每個屬性都被詳細地加以考慮，決策樹的樹葉節點所覆蓋的訓練樣本都是 純 的。因此用這個決策樹來對訓練樣本進行分類的話，你會發現對於...