當前位置:網站首頁>GraphMAE----論文快速閱讀

GraphMAE----論文快速閱讀

2022-06-24 07:58:49WW935707936

target:

就是,作者覺得generative SSL在諸如NLP等的領域已經得到了成熟的應用(BERT,GPT)。 但是,在graph裏,大都是靠contrastive SSL而不是generative SSL。 因為,generative SSL在以下方面還存在問題:(1)reconstruction objective, (2)training robustness, and (3)error metric. 所以,提出了:a masked graph autoencoder GraphMAE。

簡而言之,就是: 重振graph裏的generative SSL。

總而言之,整篇文章就是圍繞以下四個點進行的:

 

(我覺得,這篇文章可以當作,在GAE整體思想框架下,它加了了一些有用的訓練小trick。這些其實可以用在自己的模型上。)

近年來,自我監督學習(SSL)得到了廣泛的研究。尤其是生成型Ssl在自然語言處理和其他領域取得了巨大成功,如BERT和GPT的廣泛采用。盡管如此,嚴重依賴結構數據擴充和複雜訓練策略的對比學習一直是圖形SSL的主導方法,而圖形生成SSL的進展,尤其是圖形編碼(graphautoencoders,GAE),迄今尚未達到其他領域的潜力。在本文中,我們確定並研究了對GAE發展產生負面影響的問題,包括其重建目標、訓練魯棒性和誤差度量。我們提出了一種蒙面圖自動編碼器Graphmae,它可以緩解這些問題,用於生成式自監督圖學習。與其重建結構,我們建議將重點放在特征重建上,同時使用掩蔽策略和縮放餘弦誤差,這有利於圖形的魯棒訓練。我們針對三種不同的圖形學習任務,在21個公共數據集上進行了廣泛的實驗。結果錶明,Graphmae——一種簡單的圖形自動編碼器,經過我們的精心設計,可以持續產生優於對比和生成最新基線的性能。這項研究提供了對圖形自動編碼器的理解,並展示了生成性自監督學習在圖形上的潜力。

版權聲明
本文為[WW935707936]所創,轉載請帶上原文鏈接,感謝
https://cht.chowdera.com/2022/175/202206240423110121.html

隨機推薦