**名稱：deep residual learning for weakly-supervised relation extraction
近年來，越來越多人關注在關係抽取 (relation extraction) 的題目上，大部分的研究集中在使用更複雜、更結構化的神經網路，並測量在 semeval 2010 的關係抽取資料庫上。
但在這個資料庫上，最大的問題是資料太少，總共只有 10,717 條資料，導致大部分的模型引數不能太多，要不然會有過度擬合 (over fitting) 的現象發生。
相較於另乙個資料庫，nyt dataset，總共有 695,059 條資料，採用半監督式學習：distant supervision 來收集資料。這個資料庫有足夠大的數量來進行大型神經網路的實驗。
出於這個動機，本文進行大型神經網路在 nyt dataset 資料庫的實驗，並提出深度殘差網路來解決 distant supervision 帶來的雜訊干擾。
我們使用卷積神經網路來進行關係抽取，取經於計算機視覺與深度卷積神經網路的成功，我們透過增加層數，來增加神經網路的引數，希望可以幫助關係抽取的學習。結果如圖一：
圖一、各式卷積網路的結果
但我們卻發現，使用 9 層卷積神經網路 (cnn-9) 的效果，並沒有單層 (cnn) 的好。這個結果跟過往的經驗違背。我們猜測原因是，在 distant supervision 的資料裡面，有太多錯誤標籤的資料，這些資料帶來太多的雜訊，而這些雜訊隨著越深層的神經網路而被放大，導致 9 層卷積神經網路 (cnn-9) 的結果比單層 (cnn) 更差。為了解決這個問題，我們使用殘差網路，來幫助網路的特徵學習。
基於上面的實驗，我們知道淺層網路在 distant supervision 的資料庫中，能學習到比較好的特徵。於是，我們設法讓淺層網路的特徵，可以跳躍傳遞至深層網路。
圖二，殘差網路在關係抽取的架構
如圖二所示，我們使用擁有兩層卷積網路的殘差區塊，將淺層網路的特徵傳到較深層的網路。特過這樣的設計，我們可以依照資料庫的大小，來堆迭網路架構，讓網路可以選擇較不被雜訊影響的那層網路特徵來進行關係分類。
這篇文章，提出一種，解決 distant supervision 雜訊對大型網路影響的方法。在表一，我們可以看到，9 層的殘差網路，與 state-of-the-art(pcnn+att) 的模型，有差不多的結果，並在高順位候選的關係上，有更棒的效能。證明，利用殘差網路，可以在 distant supervision 的資料庫中，抽取更有用的特徵。
表一，殘差網路與其它網路結構的結果比較
本篇文章提供讀者、研究人員可以在 distant supervision 的資料庫使用大型深度神經網路。但要注意，此種半監督式學習的雜訊，會影響到實驗結果。利用殘差網路可以解決這樣的問題，這篇文章在關係抽取的研究上，證明其結果。
本篇文章是我在加州聖塔芭芭拉大學 (ucsb)，做交換學生時完成的作品。其實聖塔芭芭拉是乙個充滿陽光，很美的海灘，每天都可以衝浪、曬太陽、玩水，加上當時課選很少的情況下，覺得生活過得太安逸，決定加入當時新晉教授 william wang 的實驗室，學習相關領域的知識。但沒想到，我是實驗室前 5 個進來的學生，導致所有知識都要靠自己來，自己吸收與學習。幸運的是，教授有許多時間，跟我討論題目，但另一方面，我也好像在過乙個博士班學生單獨奮鬥的生活，每天死盯著**，想理解關係抽取到底發生了什麼事。很幸運地，最後我把文章完成，並且順利的投上 emnlp。很感謝 william wang 教授願意給我機會，與我進行大量的討論。william wang 教授在知識圖譜的相關研究很厲害，有興趣的同學，可以申請到他的實驗室進行研究。
台灣大學機器學習
第三章 機器學習的不同類別 三個角度 1 二分類，多分類，回歸，struction learning 不常見 2 監督學習，非監督學習，半監督學習 比如人臉識別中，不是每個樣本我們都能知道其類別，增強學習 訓狗，深藍計算機的智慧型下棋 3 batch learning,online learning...
SegmentFault 助力台灣大學黑客馬拉松
黑客馬拉松，即一夥程式猿在一定時間內共同協作編碼，也就是一場以程式設計為操作方式的馬拉松比賽，在有限的時間內將初步想法實現成型並展示出來的活動。facebook 據說就是這樣在哈佛宿舍誕生出來的。這是乙個從無到有的過程，主辦方會提供飲食和用於團隊協作的平台，參賽團隊需帶上自己的創意和實現工具 通常是...
搬運 台灣大學機器學習課程 by 李巨集毅
最近看到乙個比較好的機器學習課程，大致聽了一遍。整體感覺機器學習領域還是比較難，雖然李巨集毅老師講得還是挺好的，沒有足夠基礎吸收起來還是有一定困難。即便是已經把過程講了一遍，也很難理解到那些理論是如何構建起來的。這個課程乙個好是講到了當前最熱的深度學習，建議按需選擇學習。其他資料可以到 課程主頁 i...