在近日的一次訪談中，Andrej Karpathy深入探討了AGI、智能體與AI未來十年的走向。他認(rèn)為當(dāng)前的「智能體」仍處早期階段，強化學(xué)習(xí)雖不完美，卻是目前的最優(yōu)解。他預(yù)測未來10年的AI架構(gòu)仍然可能是類似Transformer的巨大神經(jīng)網(wǎng)絡(luò)。

在最新一期的《Dwarkesh Podcast》里，Andrej Karpathy，這位OpenAI的創(chuàng)始元老、前特斯拉AI團(tuán)隊負(fù)責(zé)人、深度學(xué)習(xí)的大佬，與主持人Dwarkesh Patel進(jìn)行了兩個多小時的對話。

Karpathy暢談了他對AGI時間線、智能體、大模型認(rèn)知、強化學(xué)習(xí)等AI圈核心問題的看法。

Andrej Karpathy（左）與主持人Dwarkesh Patel（右）

AGI還有十年之遙

談話從當(dāng)前火熱的「智能體」切入。

對于業(yè)內(nèi)普遍鼓吹的「智能體元年」Karpathy顯得非常冷靜。

他認(rèn)為行業(yè)里存在一些過度預(yù)測。更準(zhǔn)確地說，應(yīng)該稱為「智能體的十年」。

「雖然我每天都在用一些非常出色的智能體，比如Claude和Codex，但它們?nèi)允且恍┓浅３跗诘闹悄荏w，還有大量工作要做，這也是我們在未來十年內(nèi)要持續(xù)研究的東西」。

Karpathy所說的「智能體的十年」，是指這些智能體還需要經(jīng)過大約十年的持續(xù)研究工作，才能讓它們真正能用。

Karpathy列舉了當(dāng)前智能體的主要問題：智能不足、多模態(tài)能力弱、無法自主操作電腦等。

在他看來，這主要是由于智能體在認(rèn)知上存在缺陷，也沒有持續(xù)學(xué)習(xí)能力。這些基礎(chǔ)性問題的解決，大約需要十年。

談到大家熱議的AGI何時到來的問題，Karpathy的答案是10年。

這是Karpathy基于他的個人直覺以及在AI行業(yè)大約15年的經(jīng)驗所做出的判斷。

在這15年中，Karpathy親自經(jīng)歷了AI行業(yè)的幾次重要變革，并從中看到一些規(guī)律性。

他看到人們曾幾次過早地試圖一步到位追求完整的智能體，而忽略了一些前期必須要完成的基礎(chǔ)工作：

「現(xiàn)在的智能體能力強多了，但我們可能仍然缺少這個技術(shù)棧的某些部分。」

Patel問到10年后，AI的核心架構(gòu)是否還會類似Transformer的架構(gòu)。

Karpathy預(yù)測未來十年AI的核心架構(gòu)仍可能基于Transformer，但形態(tài)會有所演化。

他從「時間平移不變性」的角度來看待技術(shù)進(jìn)步。

10年前我們主要用卷積網(wǎng)絡(luò)，如今換成Transformer，核心機制仍是前向傳播與梯度下降。

「可以打賭的是，根據(jù)平移等變性，10 年后我們?nèi)匀粫们跋蚝笙騻鞑ズ吞荻认陆祦碛?xùn)練巨大的神經(jīng)網(wǎng)絡(luò)，但也許它看起來會有點不同，而且所有東西都會變得更大。」