學習內容:
三、圖神經網路演算法(一)
四、圖神經網路演算法(二)
五、圖神經網路高階模型講解
圖神經網路7日打卡營
這個**「空手道」**圖表示什麼?wayne w. zachary 在 1970 到 1972 年這三年中研究的乙個空手道俱樂部的社交網路。該網路包含了這個空手道俱樂部的 34 個成員,成員對之間的連線表示他們在俱樂部之外也有聯絡。在研究期間,管理員 johna 與教練 mr.hi(化名)之間出現了衝突,導致俱樂部一分為二。一半成員圍繞 mr.hi 形成了乙個新的俱樂部,另一半則找了乙個新教練或放棄了空手道。基於收集到的資料,除了其中乙個成員,zachary 正確分配了所有成員在**之後所進入的分組。
圖 g=(v, e) 由下列要素構成:
圖學習概述、入門路線
作業:安裝環境,跑通 example **。
deepwalk、node2vec、metapath2vec、metapath2vec 變種模型
雖然deepwalk是kdd 2014的工作,但卻是我們了解graph embedding無法繞過的乙個方法。
我們都知道在nlp任務中,word2vec是一種常用的word embedding方法,word2vec通過語料庫中的句子序列來描述詞與詞的共現關係,進而學習到詞語的向量表示。
deepwalk的思想類似word2vec,使用圖中節點與節點的共現關係來學習節點的向量表示。那麼關鍵的問題就是如何來描述節點與節點的共現關係,deepwalk給出的方法是使用隨機遊走(randomwalk)的方式在圖中進行節點取樣。
randomwalk是一種可重複訪問已訪問節點的深度優先遍歷演算法。給定當前訪問起始節點,從其鄰居中隨機取樣節點作為下乙個訪問節點,重複此過程,直到訪問序列長度滿足預設條件。
獲取足夠數量的節點訪問序列後,使用skip-gram model 進行向量學習。
gcn、gat、訊息傳遞機制
圖卷積網路將卷積運算從傳統資料(例如影象)推廣到圖資料。其核心思想是學習乙個函式對映f(.
)f\left(.\right )
f(.)
,通過該對映圖中的節點viv_
vi可以聚合它自己的特徵xix_
xi與它的鄰居特徵xjx_
xj(j∈n
(vi)
j\in n(v_)
j∈n(vi
))來生成節點 viv_
vi 的新表示。圖卷積網路是許多複雜圖神經網路模型的基礎,包括基於自動編碼器的模型、生成模型和時空網路等。下圖直觀地展示了圖神經網路學習節點表示的步驟。
gcn方法又可以分為兩大類,基於譜(spectral-based)和基於空間(spatial-based)。基於譜的方法從圖訊號處理的角度引入濾波器來定義圖卷積,其中圖卷積操作被解釋為從圖訊號中去除雜訊。基於空間的方法將圖卷積表示為從鄰域聚合特徵資訊,當圖卷積網路的演算法在節點層次執行時,圖池化模組可以與圖卷積層交錯,將圖粗化為高階子結構。如下圖所示,這種架構設計可用於提取圖的各級表示和執行圖分類任務。
圖取樣技術、圖聚合技術
偽**第5行可以使用不同聚合函式,本小節介紹五種滿足排序不變數的聚合函式:平均、gcn歸納式、lstm、pooling聚合器。(因為鄰居沒有順序,聚合函式需要滿足排序不變數的特性,即輸入順序不會影響函式結果)
a.平均聚合:先對鄰居embedding中每個維度取平均,然後與目標節點embedding拼接後進行非線性轉換。
b. 歸納式聚合:直接對目標節點和所有鄰居emebdding中每個維度取平均(替換偽**中第5、6行),後再非線性轉換:
c. lstm聚合:lstm函式不符合「排序不變數」的性質,需要先對鄰居隨機排序,然後將隨機的鄰居序列embedding作為lstm輸入。
d. pooling聚合器:先對每個鄰居節點上一層embedding進行非線性轉換(等價單個全連線層,每一維度代表在某方面的表示(如信用情況)),再按維度應用 max/mean pooling,捕獲鄰居集上在某方面的突出的/綜合的表現 以此表示目標節點embedding。
erniesage、unimp
實踐:erniesage**講解
PGL七日打卡營心得
關於圖神經網路 近年來,人們對深度學習方法在圖上的擴充套件越來越感興趣。在多方因素的成功推動下,研究人員借鑑了卷積網路 迴圈網路和深度自動編碼器的思想,定義和設計了用於處理圖資料的神經網路結構,由此乙個新的研究熱點 圖神經網路 graph neural networks,gnn 應運而生。圖神經網路...
paddlepaddle七日入門營心得
遇見paddlepaddle入門營的課是看了一篇推送,再決定加入之前,還猶豫了很久,因為以前主要接觸的是tensorflow的知識,最後決定試一試這個框架,就報名了。內容首先概括一下,入門營一共是七天的內容,包括 day01 新冠疫情視覺化 day02 手勢識別 day03 車牌識別 day04 口...
十一月七日學習心得
今天上午主要學習了css居中對齊的方式和css3的邊框與動畫製作。1.margin設定區塊元素水平居中 2.position屬性設定元素的左右對齊 3.float屬性設定左右對齊 4.padding屬性設定水平垂直居中 5.line height屬性設定水平垂直居中 6.絕對定位和transform...