當前位置:網站首頁>Meta AI 宣布對人腦和語言處理進行長期研究

Meta AI 宣布對人腦和語言處理進行長期研究

2022-05-14 01:16:15拉姆哥的小屋

人類的大腦長期以來一直是一個難題——它是如何發展的,它如何繼續進化,它被開發和未開發的能力。

人工智能 (AI) 和機器學習 (ML) 模型也是如此。

正如人類大腦創建的 AI 和 ML 模型日益複雜一樣,這些系統現在也被用於研究人類大腦本身。具體來說,此類研究正在尋求增强人工智能系統的能力,並更緊密地模仿大腦功能,以便它們能够以越來越自主的方式運行。

Meta AI 的研究人員已經著手開展一項這樣的計劃。Facebook 母公司的研究部門近日宣布了一項長期研究,以更好地了解人類大腦如何處理語言。研究人員正在研究大腦和 AI 語言模型如何對相同的口頭或書面句子做出反應。

Meta AI 的高級研究科學家 Jean-Rémi King 說:「我們正試圖將人工智能系統與大腦進行比較。」

他指出,口語使人類變得獨特,理解大腦如何工作仍然是一個挑戰,也是一個持續的過程。潜在的問題是:「是什麼讓人類比這些機器更强大或更高效?我們不僅要找出相似之處,還要找出剩餘的差异。」

    腦成像和人類水平的 AI

Meta AI 正在與比特於巴黎的腦成像創新研究中心 NeuroSpin (CEA) 和法國國家數字科學技術研究所(INRIA)合作。這項工作是 Meta AI 更廣泛關注人類水平人工智能的一部分,這種人工智能可以在幾乎沒有人監督的情况下學習。

通過更好地了解人類大腦如何處理語言,研究人員假設他們可以收集有助於指導人工智能發展的見解,這些人工智能可以像人類一樣有效地學習和處理語音。

「開發、訓練和使用特殊的學習算法來執行各種各樣的任務變得越來越容易,」King 說。「但這些人工智能系統距離人腦的效率還很遠。很明顯,這些系統缺少一些能够更有效地理解和學習語言的東西,至少和人類一樣有效。這顯然是一個價值百萬美元的問題。」

在深度學習中,多層神經網絡協同工作來學習。這種方法已應用於 Meta AI 研究人員的工作,以突出在志願者閱讀或收聽故事時,何時何地在大腦中生成單詞和句子的感知錶示。

在過去的兩年中,研究人員將深度學習技術應用於公共神經影像數據集,這些數據集是從志願者的磁共振成像 (MRI) 和計算機斷層掃描 (CT) 掃描中的大腦活動圖像中挑選出來的。這些由普林斯頓大學和馬克斯·普朗克心理語言學研究所等多個學術機構收集和共享。

該團隊對數千個此類腦部掃描進行了建模,同時還應用了腦磁圖 (MEG) 掃描儀以每毫秒捕獲一次圖像。他們與 INRIA 合作,將各種語言模型與 345 名志願者在聽複雜敘述時用功能磁共振成像 (fMRI) 記錄的大腦反應進行了比較。

然後將閱讀或呈現給人類受試者的相同敘述呈現給人工智能系統。「我們可以比較這兩組數據,看看它們何時何地匹配或不匹配,」King 說。

    迄今為止研究人員的發現

研究人員已經得出了有價值的見解。值得注意的是,最接近大腦活動的語言模型是那些最能從上下文(context)中預測下一個單詞的模型(例如「在一個黑暗和暴風雨的夜晚……」或「從前……」),King 解釋說。這種基於部分可觀察輸入的預測是人工智能自我監督學習 (SSL) 的核心。

盡管如此,大腦的特定區域仍能提前很久地預測單詞和想法——而相比之下,語言模型通常被訓練來預測下一個單詞。他們在預測複雜的想法、情節和敘述方面的能力有限。

「(人類)系統地預測接下來會發生什麼,」King說。「但這不僅僅是單詞級別的預測,而是更抽象的級別。」

進一步對比,人腦可以用幾百萬個句子學習,並且可以在其數萬億個突觸之間不斷地適應和存儲信息。與此同時,人工智能語言模型經過數十億個句子的訓練,可以參數化多達 1750 億個人工突觸。

King 指出,嬰兒接觸到成千上萬的句子並且可以快速理解語言。例如,從幾個例子中,孩子們就知道「柳丁色」既可以指水果,也可以指顏色。但是現代人工智能系統在這項任務上遇到了麻煩。

「很明顯,今天的人工智能系統,無論它們多麼好或多麼令人印象深刻,也是極其低效的,」King 說。雖然人工智能模型正在執行越來越複雜的任務,但「很明顯,它們在許多方面並不能廣泛地理解事物。」

為了進一步完善他們的研究,Meta AI 研究人員和 NeuroSpin 現在正在創建一個原始的神經影像數據集。這與代碼、深度學習模型和研究論文一起將被開源,以幫助在人工智能和神經科學領域進一步發現。「我們的想法是提供一系列工具,供我們在學術界和其他領域的同事使用和利用,」King 說。

他說,通過更深入地研究長期預測能力,研究人員可以幫助改進現代人工智能語言模型。用長期預測增强算法可以幫助它們與大腦更加相關。

King 强調,「現在很清楚的是,這些系統可以與人腦相比,而在幾年前還不是這樣。」

他補充說,科學進步需要將神經科學和人工智能學科結合起來。隨著時間的推移,它們將發展得更加緊密和協作。

 

「神經科學和人工智能之間的這種交流不僅僅是與抽象思想的隱喻交流,」King 說。「它變得非常具體。我們試圖了解什麼是架構,大腦中的學習原理是什麼?我們正在嘗試將這些架構和這些原則應用到我們的模型中。」

 

版權聲明
本文為[拉姆哥的小屋]所創,轉載請帶上原文鏈接,感謝
https://cht.chowdera.com/2022/134/202205140115432316.html

隨機推薦