陸陸續續,接觸和了解pgm方面的文章和書有一年多了。開始時,我找的是dp方面的文章,你可知道這個可是近幾年來比較難的乙個東西,但是我當時不知道,怎麼辦呢?我開始看的時候費了好長時間,而且關鍵是遇到了很大的阻力,這個就不提了。倒是,我的導師給我了支援,他說,最後我實在看不懂時去找了導師,其實他那麼忙,我當時是想藉著他的人際關係聯絡個人幫我,可我沒表達清楚,導師說實在看不懂就拿來給我,你找個時間,我在辦公室時給我,我給你看看。當然,最後我沒拿給他看,我最後看了n多個資料文章,終於看懂了,貌似看懂了其實。我很感謝導師的支援的其實。
lda,dp,這兩個都是比較hot的主題吧,但是前者比後者容易多了。在看前者時,我好像懂了,但是後來發現並不懂,看dp時,我回頭又看這個lda,從最初作者的phd thesis,到lda的很多tutorial,關於變分和gibbs的,再看很多人的學習notes,到最後看懂了lda後,才感覺慢慢讀懂了dp的文章,再從頭看dp和hdp,如此下來不知折騰了多少次。在其中,一篇博士**不得不提及到,erik sudderth的博士**,寫的非常有可讀性,當時讀的這個**,讓我了解了很多基礎知識。
再者lda的一些tutorial,尤其是關於lda的gibbs實現的那篇,寫的非常好,而且作者是個非常nice的人,將其note不斷的更新並在網上update,我當時就是讀了這篇文章才找到感覺的。
其實lda,dp均是近幾年比較熱的概率圖模型pgm的一種演算法,關於pgm,其實太大了,正如其名稱一樣,其用到了概率統計的知識,也用到了圖模型的知識。當然,不是簡單的相加,其內容太豐富了,簡直是乙個龐大的容器。就像前幾天所裡的老師在講課時,說到這可是一灘深水,風險和機遇並存,再者其中太多東西沒有解決了。推斷就是個大問題,我也不知道為什麼,我一直比較關注推斷這塊,不是看到其有多大發展,其實我沒想那麼多,我就是覺得這部分應該挺有意思的,而且很重要,呵呵,我是個實用主義者。
關於pgm,有幾本書,首先是bishop的prml,這本書可是一本很不錯的書,我覺得書寫的很不錯的,其中關於pgm的內容,從第8章開始,寫的很容易看懂的,而且我覺得可讀性很強。
jordan是乙個牛人,而且關於pgm的很多演算法我都是看的他那裡的工作,他寫了幾本書了,至少兩本,其中一本是簡介introduction,這本書沒有出版,只是看到了一部分電子版的,網上流傳的,感覺還不錯。另外一本,是公布的,有點類似於**集或者報告,但是很全面,只是很難。
koller,是另外乙個pgm的牛人,她的書,我們系統學過了,現在我的導師正在領導我們系統翻譯,可是,我並不是很喜歡這本書,寫的太晦澀,公式太多,很亂,而且錯誤很多。但是,內容很全面,也是很新的一本書。
看了大量的文章,尤其是關於dp的,寫了篇綜述,其實沒什麼自己的東西,僅僅是作為自己的理解,將該演算法的應用情況總結了一下,其實hdp的原作者已經寫了類似的,只是他寫的更偏重於nlp的應用和演算法的介紹,我希望除了介紹之外,還有些我自己的理解,尤其是這幾年這類演算法在很多地方的應用,這才是最重要的。估計應該能夠發表的,已經完成了一審修改,改動不大,希望能給希望了解這個演算法的人一點幫助。
skip gram原始碼解析的一些文章和見解
word2vec入門篇應該是這個 第一種是帶隱藏層的,其啟用函式為tanh,然而由於隱藏層到output layer的引數太多,畢竟output layer的引數為vocabulary size,動輒成千上萬,所以第一種被去掉了 第二種是採用huffuman tree和hierarchical so...
我選擇的一些文章
語言平台 using的幾種用法 雖然風前絮的這篇引用了csdn的blog上的文章的內容很簡單,但是,相信有許多開發人員並沒有對using 的使用進行過深入的 靈活使用它們,可以稍稍減輕一些開發時的負擔。c 程式設計可能沒有留意的東西 風前絮的文章。何時該實用屬性property,何時用proecte...
序列上的一些文章
主要談兩個 lcs 見dp 最長公共子串行 lis 主要介紹nlogn演算法 g 1 num 1 長度為1的最小 f 1 1 寫完會發現f可有可無 int t 1 當前最長上公升子串行的長度 for i 2 i n i g l num i l就是長度 f i l if l t t l return ...