通過問這三個問題讓我們看到乙個概念時候就方向感,知道從哪入手。萬事開頭難。我用這幾個問題問自己悟出這個回答:計算機生態圈是怎麼樣的?。
就拿夏農的《資訊熵=是什麼?怎麼學?從哪學?查定義也似懂非懂。這個難度絕對是超過很多概念的難度。這個你都會其他的那就容易了。
這個方法為什麼叫這個名字?如果是我們自己做我會怎麼設計?為什麼提出者能想到這個想法?通過這3問我有把握讓你幾分鐘內理解它。
資訊這個能理解。熵是什麼(找到乙個方向了)查資料發現是衡量混亂度的乙個數值。現在我們知道了它是衡量資訊混亂程度的乙個數字。新的問題方向來了,什麼是混亂程度?你走在路上你發現前面一堆人在亂走,這叫做混亂。你走在路上,你發現大家都成一條隊伍走,這叫做不混亂。那麼究竟是什麼讓你感覺混亂呢?答:是不確定性。我不確定我前面有沒有人擋我路,不確定我下一步一定走哪才不會撞人。
再舉個例子:
10個球,5個紅球5個白球。把它們放到口袋裡面。我摸乙個球,能確定是紅還是白嗎?答:不確定。這叫做混亂(又有紅色又有白色)
10個球,10個紅球0個白球。把它們放到口袋裡面。我摸乙個球,能確定是紅還是白嘛?答:能確定。這叫做不混亂(都是紅色的,都沒有雜質怎麼叫做混亂?)
還是哪紅白球舉例子:
10個球,5紅5白,5*5=25(混亂)
... ...
10個球,8紅2白,8*2=16
10個球,9紅1白,9*1=9。
10個球,10紅0白,10*0=0。(不混亂)
你會發現,這不就是小學學的。兩個數加起來相同的時候,兩個數差值越大乘起來越小。兩種不同物質的數量比例越均等,那麼越混亂。然後我們可不可以把各個部分的比例用相乘的得到乙個數值,用這個數值來衡量混亂程度?因為各個部分的比例之和肯定是1,這是乙個固定的數。比例越均等,乘起來越大(5*5=25那麼例子),越混亂。
然後你看看資訊熵那個公式,
何等的微妙。就是我們自己想出來的設計連乘。
那麼新的問題方向來了?為何夏農不直接用連乘,還要加個log?
我們還是用自己的解釋,應該是連乘求導不方便.f(x)g(x)h(x)
,對他們求導。還得用乘法求導法則展開。f'(x)g(x)h(x)+f(x)g'(x)h(x)...
。然後加個對數讓它就可以把乘法變成加法。
拿機器學習和神經網路舉例。這些演算法千千萬,但是無一例額外的都逃不過下面這四步。按照這四步分析和學習機器學習就能看透演算法的本質。當然它也可以拓展到其他領域,我想本質的東西是通用的。這個講起來就複雜了,我今天弄了個知識分享,免費性質的《看本質,從演算法發明者的角度讓你醍醐灌頂的快速入門機器學習》(平台要求滿60人才能寫文章)。
輸入是什麼,輸出是什麼?
能用哪個模型套上去。
模型有哪些要我們設定的引數。
怎麼評估引數設定的好不好。
怎麼求解最優的引數。
使用遇到的問題 Mac Pro使用遇到問題
mac os x無法休眠?教你用pmset找出原因。如何重置 mac 上的系統管理控制器 smc mac retina 合蓋後開啟突然黑屏,長按開機鍵無反應?應該是有一次修改了系統設定,解決如下 mac os x中顯示 不顯示隱藏檔案方法 命令列 mac不能複製拷貝寫入檔案到行動硬碟,u盤怎麼辦 n...
我遇到問題的解答
研究生有很多種,很多人都是研究生,我們的老師就是研究生,可是我發現老師之間的差距也是相當大的,研究生也有找不到工作的。研究生也有表達不清晰的。研究生應該具有研究生的素質,良好的表達能力,良好的心理素質,良好的專業素養,好的人生觀和價值觀,對人和對物的認識要比沒有讀研究生的人更加深入,看問題,看出來本...
遇到問題的思考方式
是什麼 怎麼了為什麼 怎麼辦辦成什麼樣 當我們遇到乙個問題的時候,我們總是急於想要解決問題,也就是急於求成,從來不停下來認真思考問題的本身。這樣的解決方式會導致我們走彎路,同時也會讓我們再次遇到類似的問題時,依然很盲目,不知道從何開始,只會套用之前的解決方法,如果行不通,我們會說 上次就可以,怎麼這...