“早在2015年和2016年，我們根本不敢想象ChatGPT能達到現在的程度。”OpenAI聯合創始人及首席科學家Ilya Sutskever，在接受英偉達創始人兼CEO黃仁勛“采訪”時這么說道。

這場對話在多模態模型GPT-4推出的第二天，當地時間3月22日，英偉達官方發布了完整的談話視頻。在接近一個小時的交談中，黃仁勛和Sutskever談到了聊天機器人ChatGPT的開發歷程、GPT-4的進步，以及對AI(人工智能)行業的展望。

談ChatGPT:工作原理像閱讀推理小說

【資料圖】

ChatGPT是OpenAI公司于去年11月發布的聊天機器人，問世不到半年，便成為最流行的計算機應用程序之一，還帶動了各大科技公司在生成式AI領域展開角逐。

黃仁勛多次提到“AI行業的iPhone時刻已經到來”，但作為OpenAI的創始人之一，Sutskever則表示，2016年左右，他們根本不敢想象ChatGPT能達到現在的程度。

“當時我們的思路之一，是讓機器具備不受監督的學習能力(unsupervised learning)。現在看來這是理所當然的，人們可以用自然語言模型去培訓AI.但在2016年，這是一個未知的領域，沒有任何科學家有過相關的經驗和洞見。”Sutskever說道。

“更早之前，我也認為‘學習’這件事只有人類才能完成，計算機無法做到。”但2002年到2003年期間，他的想法發生了轉變，“如果能夠讓計算機去不斷學習，或許會為AI行業帶來改變。”

他認為，將神經網絡引入AI領域是非常重要的進步。它能像人類的大腦一樣工作，能夠進行“深度學習”，因此可以將其運作邏輯套用在計算機上。

“深度學習”的背后有一套非常扎實的理論基礎，如果計算機的神經網絡足夠深、規模足夠大，便能解決深層次的硬核問題，但這需要足夠的數據庫和算力進行支撐。因此，OpenAI在優化數據模型上付出了很多努力，例如制作“神經網絡的反饋”，通過培訓神經網絡，使其規模更大、獲得更多數據。

而ChatGPT的工作原理其實就是培訓神經網絡體系，讓神經網絡預測下一個單詞。以推理小說為例，一本小說中含有各種不同的人物和情節，讀者在閱讀的過程中能夠根據線索去推測兇手，這與GPT系列的工作方式非常相似。

“我們希望它預測單詞具有一定的邏輯性，與過去的訓練文本達到一致。”Sutskever說道，“我們并不是簡單地根據人類經驗完成AI學習，而是要根據人類的反饋進行強化學習。反饋很重要，越多的反饋能使得AI更加可靠。”

談GPT-4:推理能力沒有達到此前預期

最新推出的大型多模態模型GPT-4也是此次談話的主題之一。OpenAI在6至8個月之前就開始訓練GPT-4，與ChatGPT相比它在許多方面都做出了相當大的改進，最明顯的是這款新模型可以處理圖像內容。

Sutskever說道，世界是由圖片構成的，而人類是視覺動物，人腦三分之一的灰質均用來處理圖像，因此多模態模型能夠為用戶提供更多幫助。例如，在數學競賽中很多問題需要圖表進行解答，GPT-4能夠解讀圖標，極大提高回復的準確率。

他大膽預測，未來的某個GPT版本可能不僅能夠閱讀圖像，還能在回復中生成圖表。

GPT-4的另一個特點是基于更好的神經網絡，能夠更精確地預測下一個單詞。不過當被問及GPT-4是否具有推理能力(reasoning capabilities)時，Sutskever表示很難去定義這一術語，不過他認為這種能力可能會在不久的將來實現。

“我們認為，GPT的推理能力還沒有達到之前預期的水平，如果更進一步擴大數據庫，并保持商業運轉模型，它的推理的能力會進一步提高，我對此充滿信心。”他說道。

在談話的最后，Sutskever還預測了生成式AI的未來，“目前我們只是向AI提供文本，并讓其得出結論，但AI無法驗證這些文本的真實性以及其來源。下一步是要讓神經網絡驗證數據來源的真實性，并讓它能夠意識到用戶的需求。”

（文章來源：澎湃新聞）

標簽：