在這裡,人類水平錯誤率的定義,就是如果你想要替代或估計貝葉斯錯誤率,那麼一隊經驗豐富的醫生討論和辯論之後,可以達到 0.5%的錯誤率。我們知道貝葉斯錯誤率小於等於 0.5%,因為有些系統,這些醫生團隊可以達到 0.5%的錯誤率。所以根據定義,最優錯誤率必須在 0.5%以下。我們不知道多少更好,也許有乙個更大的團隊,更有經驗的醫生能做得更好,所以也許比 0.5%好一點。但是我們知道最優錯誤率不能高於 0.5%,那麼在這個背景下,我就可以用 0.5%估計貝葉斯錯誤率。所以將人類水平定義為 0.5%。
為了發表研究**或者部署系統,也許人類水平錯誤率的定義可以不一樣,你可以使用 1%,只要你超越了乙個普通醫生的表現,如果能達到這種水平,那系統已經達到實用了。也許超過一名放射科醫生,一名醫生的表現,意味著系統在一些情況下可以有部署價值了。
在定義人類水平錯誤率時,要弄清楚你的目標所在,如果要表明你可以超越單個人類,那麼就有理由在某些場合部署你的系統,也許這個定義是合適的。但是如
果您的目標是替代貝葉斯錯誤率, 那麼這個定義( 經驗豐富的醫生團隊——0.5%) 才合適。
我們來看乙個錯誤率分析的例子。比方說,在醫學影象診斷例子中,你的訓練錯誤率是 5%,你的開發錯誤率是 6%。而在上一張幻燈片的例子中,我們的人類水平表現,我將它看成是貝葉斯錯誤率的替代品,取決於你是否將它定義成普通單個醫生的表現,還是有經驗的醫生或醫生團隊的表現,你可能會用 1%或 0.7%或 0.5%。
無論你做出哪些選擇,可避免偏差大概是 4%,如果你取 1%就是 4%, 如果你取 0.5%就是 4.5%, 而這個差距( 訓練誤差與開發誤差之間的差值)是 1%。所以在這個例子中,我得說,不管你怎麼定義人類水平錯誤率,使用單個普通醫生的錯誤率定義,還是單個經驗豐富醫生的錯誤率定義或經驗豐富的醫生團隊的錯誤率定義,這是 4%還是 4.5%,這明顯比都比方差問題更大。所以在這種情況下,你應該專注於減少偏差的技術,例如培訓更大的網路。
現在來看看第二個例子,比如說你的訓練錯誤率是 1%,開發錯誤率是 5%,這其實也不怎麼重要,這種問題更像學術界討論的,人類水平表現是 1%或 0.7%還是 0.5%。因為不管你使用哪乙個定義,你測量可避免偏差的方法是,如果用那個值,就是 0%到 0.5%之間,對吧?
那就是人類水平和訓練錯誤率之前的差距,而這個差距是 4%,所以這個 4%差距比任何一種定義的可避免偏差都大。所以他們就建議,你應該主要使用減少方差的工具,比如正則化或者去獲取更大的訓練集。
比如你的訓練錯誤率是 0.7%,所以你現在已經做得很好了,你的開發錯誤率是 0.8%。在這種情況下,你用 0.5%來估計貝葉斯錯誤率關係就很大。因為在這種情況下,你測量到的可避免偏差是 0.2%,這是你測量到的方差問題 0.1%的兩倍,這表明也許偏差和方差都存在問題。但是,可避免偏差問題更嚴重。在這個例子中,我們在上一張幻燈片中討論的是 0.5%,就是對貝葉斯錯誤率的最佳估計,因為一群人類醫生可以實現這一目標。如果你用 0.7 代替貝葉斯錯誤率,你測得的可避免偏差基本上是 0%,那你就可能忽略可避免偏差了。實際上你應該試試能不能在訓練集上做得更好。
如果你想理解偏差和方差,那麼在人類可以做得很好的任務中,你可以估計人類水平的錯誤率,你可以使用人類水平錯誤率來估計貝葉斯錯誤率。所以你到貝葉斯錯誤率估計值的差距,告訴你可避免偏差問題有多大,可避免偏差問題有多嚴重,而訓練錯誤率和開發錯誤率之間的差值告訴你方差上的問題有多大,你的演算法是否能夠從訓練集泛化推廣到開發集。
對人類水平有大概的估計可以讓你做出對貝葉斯錯誤率的估計,這樣可以讓你更快地作出決定是否應該專注於減少演算法的偏差,或者減少演算法的方差。這個決策技巧通常很有效,直到你的系統效能開始超越人類,那麼你對貝葉斯錯誤率的估計就不再準確了,但這些技巧還是可以幫你做出明確的決定。
我是如何理解人脈的
上了大學之後,發現身邊乙個神奇的現象 原來 兩耳不聞窗外事一心唯讀聖賢書 的窮酸學生,一旦進入了大學的校門,竟在一夜之間變成了張口人脈 閉口關係的小大人模樣,彷彿不認識幾個學生會幹部 不參加幾個社團都不好意思見人了。這也難怪,在大學這個小社會裡,大到學生幹部的選拔 獎學金助學金的評選,小到舍友之間的...
自我理解人生觀
人生觀就是人們關於人生目的,人生態度,人生價值等問題的總觀點和總看法.人的本質屬性是社會屬性,樹立正確的人生觀,首先需要對 人是什麼 和人的本質是什麼,等問題有科學的認識 人類 於自然界和其它生物一樣,都要新陳代謝,繁衍後代,經歷生老病死,但是,人是以勞動求的生存和發展.人的實踐活動是有意識的,正如...
AI 能理解人類的情緒嗎?
被機械人 你會有什麼感覺?情感型智慧型機器可能不像它看起來那麼遙不可及。在過去的幾十年中,人工智慧 ai 越來越擅長閱讀人類的情緒反應。但是,能閱讀人類的情緒不代表它們能理解。如果 ai 自己無法體會人類的各種情緒,那它們能真正地理解我們嗎?如果 ai 不具備這些情緒,我們把它們本身沒有的屬性強加在...