當(dāng)AI監(jiān)管成為全球越來越受關(guān)注的焦點(diǎn)議題之時(shí)，OpenAI首席執(zhí)行官山姆·奧特曼（Sam Altman）在最新的訪談中表示，可以建立一個(gè)類似于國(guó)際原子能機(jī)構(gòu)的AI機(jī)構(gòu)，讓每個(gè)人都參與到對(duì)極其強(qiáng)大的AI訓(xùn)練系統(tǒng)的全球監(jiān)管機(jī)構(gòu)中來。
這場(chǎng)訪談?dòng)?月9日舉行，是對(duì)沖基金界重要年會(huì)Sohn 2023大會(huì)的一部分。幾天后，主辦方Sohn大會(huì)基金會(huì)（Sohn Conference Foundation）公布了訪談的完整視頻。在訪談中，奧特曼還談到了自己如何使用ChatGPT，開源AI與閉源AI各自的特點(diǎn)與發(fā)展路徑。他認(rèn)為，帶有人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）不是正確的長(zhǎng)期解決方案。
以下為部分訪談內(nèi)容：
【資料圖】
帕特里克·科里森（Patrick Collison，支付平臺(tái)Stripe聯(lián)合創(chuàng)始人兼首席執(zhí)行官）：你最常用的ChatGPT功能是什么，在不測(cè)試東西的時(shí)候，真的想要用的時(shí)候，ChatGPT完全是你的工具時(shí)。
奧特曼：無疑是匯總摘要。如果沒有它，我已經(jīng)不知道怎么繼續(xù)工作。我可能無法處理電子郵件和Slack（即時(shí)通訊軟件）。你知道，你可以把一堆電子郵件或者Slack消息發(fā)給它。
希望隨著時(shí)間的推移，我們能為這個(gè)場(chǎng)景構(gòu)建一些更好的插件。但即使是手動(dòng)操作效果也相當(dāng)好。
科里森：有沒有任何插件成為你工作流程的一部分？
奧特曼：我偶爾用代碼解釋器。但說實(shí)話，對(duì)我個(gè)人來說，它們還沒有真正像是日常習(xí)慣的一部分。
科里森：有些人認(rèn)為我們現(xiàn)在的訓(xùn)練數(shù)據(jù)已經(jīng)接近互聯(lián)網(wǎng)的全部?jī)?nèi)容，你不能把這個(gè)數(shù)目再增加兩個(gè)數(shù)量級(jí)，我想你可能會(huì)反駁說，是的，但是（還有）合成數(shù)據(jù)（通過計(jì)算機(jī)程序人工生成的數(shù)據(jù)）生成，你認(rèn)為數(shù)據(jù)瓶頸重要嗎？
奧特曼：我認(rèn)為，就像你剛才提到的，只要你能達(dá)到這個(gè)合成數(shù)據(jù)的臨界點(diǎn)，模型足夠聰明，能制作出好的合成數(shù)據(jù)，我認(rèn)為應(yīng)該沒問題。
我們肯定需要新的技術(shù)，我不想假裝沒有這個(gè)問題。簡(jiǎn)單地把Transformer擴(kuò)展，預(yù)先從互聯(lián)網(wǎng)上獲取訓(xùn)練數(shù)據(jù)，這種方法會(huì)失效，但這并不是我們的計(jì)劃。
科里森：所以GPT-3.5和4的一大突破就是RLHF（帶有人類反饋的強(qiáng)化學(xué)習(xí)）。如果你，山姆，親自做了所有的RLHF，模型會(huì)變得明顯更聰明嗎？反饋的人是否重要？
奧特曼：我認(rèn)為我們正在進(jìn)入一個(gè)階段，在某些領(lǐng)域，你真的需要聰明的專家給出反饋，以使模型變得盡可能智能。
科里森：當(dāng)我們考慮所有現(xiàn)在已經(jīng)成為焦點(diǎn)的AI安全問題時(shí)，我們應(yīng)該從核不擴(kuò)散的經(jīng)驗(yàn)中吸取什么最重要的教訓(xùn)？
奧特曼：首先，我認(rèn)為過分借鑒以前的技術(shù)總是一個(gè)錯(cuò)誤。每個(gè)人都想要找一個(gè)類比，每個(gè)人都想說，哦，這就像這個(gè)，或者那個(gè)，我們是這樣做的，所以我們將再次這樣做，但每種技術(shù)的形式都是不同的。然而，我認(rèn)為核材料和AI超級(jí)計(jì)算機(jī)有一些相似之處，這是我們可以借鑒和獲得啟示的地方，但我會(huì)提醒人們不要過度學(xué)習(xí)上一件事的教訓(xùn)。我認(rèn)為可以建立一個(gè)類似于國(guó)際原子能機(jī)構(gòu)（IAEA）的AI機(jī)構(gòu)——我知道這聽起來多么天真，這么做有多困難——但是我認(rèn)為讓每個(gè)人都參與到對(duì)極其強(qiáng)大的AI訓(xùn)練系統(tǒng)的全球監(jiān)管機(jī)構(gòu)中來，這似乎對(duì)我來說是一個(gè)非常重要的事情。我認(rèn)為這就是我們可以學(xué)到的一個(gè)教訓(xùn)。
科里森：如果它被建立了，明天就存在了，那么它應(yīng)該首先做什么呢？
奧特曼：任何超過我們?cè)O(shè)定的閾值的系統(tǒng)——實(shí)現(xiàn)這個(gè)最容易的方法是計(jì)算閾值（最好的方法是能力閾值，但這更難以衡量）——任何超過這個(gè)閾值的系統(tǒng)，我認(rèn)為都應(yīng)該接受審核。應(yīng)該讓這個(gè)組織有完全的可視化權(quán)限，要求在發(fā)布系統(tǒng)之前通過某些安全評(píng)估。那將是第一件事。
科里森：今年對(duì)我來說，一個(gè)大的驚喜就是開源模型的進(jìn)步，特別是最近60天左右的瘋狂進(jìn)步。你認(rèn)為，一年后開源模型會(huì)有多好？
奧特曼：我認(rèn)為這里將會(huì)有兩個(gè)發(fā)展方向，一是超級(jí)規(guī)模化的最好的閉源模型，二是開源社區(qū)的進(jìn)步，可能會(huì)落后幾年，但我認(rèn)為我們將會(huì)生活在一個(gè)有非常強(qiáng)大的開源模型的世界，人們會(huì)用它們來做各種事情，整個(gè)社區(qū)的創(chuàng)造力將會(huì)讓我們所有人感到驚訝。
科里森：可能超大型的模型在科學(xué)上非常有趣，也許你需要它們來做一些事情，比如推動(dòng)AI的進(jìn)步，但是對(duì)于大多數(shù)的實(shí)用日常案例，可能一個(gè)開源模型就足夠了。你認(rèn)為這個(gè)未來有多大可能性？
奧特曼：我認(rèn)為對(duì)于許多有超級(jí)經(jīng)濟(jì)價(jià)值的事情來說，這些較小的開源模型將足夠使用。但你剛剛提到了我想說的一件事，那就是幫助我們發(fā)明超級(jí)智能，那是一個(gè)非常有經(jīng)濟(jì)價(jià)值的活動(dòng)，就像治愈所有的癌癥或發(fā)現(xiàn)新的物理規(guī)律等，這些都將首先由最大的模型來實(shí)現(xiàn)。
科里森：Facebook現(xiàn)在應(yīng)該開源LLaMa嗎？
奧特曼：現(xiàn)在這個(gè)點(diǎn)上，可能應(yīng)該。
科里森：他們應(yīng)該開源他們的基礎(chǔ)模型/語言模型，還是只是LLaMa呢？
奧特曼：我認(rèn)為Facebook的AI策略在最好的情況下也只能說是混亂的，但我認(rèn)為他們現(xiàn)在開始非常認(rèn)真，并且他們有非常能干的人，我預(yù)計(jì)他們很快就會(huì)有更連貫的策略。我認(rèn)為他們將會(huì)是一個(gè)令人驚訝的真正的新玩家。
科里森：有沒有什么新的發(fā)現(xiàn)可能會(huì)顯著改變你對(duì)災(zāi)難性結(jié)果的可能性估計(jì)，無論是提高還是降低它？
奧特曼：是的，我認(rèn)為有很多，從現(xiàn)在到超級(jí)智能之間的大部分新工作都會(huì)使這個(gè)概率上升或下降。
科里森：那么，你特別關(guān)注什么？有什么你特別想知道的事情嗎？
奧特曼：首先，我不認(rèn)為帶有人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）是正確的長(zhǎng)期解決方案。我不認(rèn)為我們可以依賴它。我認(rèn)為它是有幫助的，它當(dāng)然使這些模型更容易使用。但你真正想要的是理解模型內(nèi)部的運(yùn)作情況，并能夠使之對(duì)齊，比如說，精確地知道哪個(gè)電路或人工神經(jīng)元集合在發(fā)生什么，并能夠以一種能夠給模型性能帶來穩(wěn)定改變的方式調(diào)整它。
還有很多超出這個(gè)的事情，但如果我們能向這個(gè)方向可靠地工作，我認(rèn)為每個(gè)人的災(zāi)難概率都會(huì)大幅降低。
科里森：你認(rèn)為有足夠的可解釋性工作正在進(jìn)行嗎？
奧特曼：沒有。
科里森：為什么不呢？
奧特曼：大部分聲稱他們真的很擔(dān)心AI安全的人，似乎只是在推特上花時(shí)間說他們真的很擔(dān)心AI的安全，或者做很多其他事情。
有一些人非常擔(dān)心AI的安全，并且正在做出很好的技術(shù)工作。我們需要更多這樣的人，我們肯定在OpenAI內(nèi)部投入更多的努力，讓更多的技術(shù)人員去研究這個(gè)問題。
但是，世界需要的不是更多在推特上發(fā)帖寫長(zhǎng)篇大論的AI安全人員，而是更多愿意做技術(shù)工作，使這些系統(tǒng)安全且可靠地對(duì)齊的人。我認(rèn)為這些事情正在發(fā)生，優(yōu)秀的機(jī)器學(xué)習(xí)研究者轉(zhuǎn)變關(guān)注點(diǎn)，以及新人進(jìn)入這個(gè)領(lǐng)域，兩者的結(jié)合。
科里森：似乎很快我們將擁有代理，你可以以非常自然的方式與之對(duì)話，低延遲全雙工（Full Duplex，允許二臺(tái)設(shè)備間同時(shí)進(jìn)行雙向數(shù)據(jù)傳輸）。顯然，我們已經(jīng)看到了Character和Replica這樣的產(chǎn)品，即使是這些初期的產(chǎn)品在這個(gè)方向上也取得了相當(dāng)驚人的進(jìn)展。
我認(rèn)為這些可能是一項(xiàng)巨大的成就，也許我們正在大大低估它，尤其是一旦你可以通過語音進(jìn)行對(duì)話。你認(rèn)為這樣對(duì)嗎？如果是這樣，你認(rèn)為可能的后果是什么？
奧特曼：是的，我確實(shí)認(rèn)為是對(duì)的。
最近有人對(duì)我說過一句印象深刻的話，他們相當(dāng)確定，他們的孩子將來會(huì)有更多的AI朋友而不是人類朋友。至于后果，我不知道會(huì)是什么樣子。
我認(rèn)為有一點(diǎn)很重要的是，我們要盡快確立一個(gè)社會(huì)規(guī)范。你知道，如果你在與AI或人類進(jìn)行交流，或者類似奇怪的AI輔助人類的情況，人們似乎很難在他們的頭腦中區(qū)分（是人還是AI），即使是像你提到的Replica這樣的早期的弱智系統(tǒng)。
不管我們大腦中渴望社交互動(dòng)的回路是什么，似乎有些人在某些情況下可以通過與AI朋友相處來滿足這種需求。
科里森：最近有人告訴我，在Replica的Reddit上讀到的一個(gè)討論主題是，如何處理升級(jí)到Replica模型時(shí)的情感挑戰(zhàn)和創(chuàng)傷。因?yàn)槟愕呐笥淹蝗蛔兊糜悬c(diǎn)智力受損，或者至少是一個(gè)有點(diǎn)不同的人，而且，這些對(duì)話者都知道Replica實(shí)際上是一個(gè)AI，但不知道為什么，我們的情感反應(yīng)似乎并沒有太大的區(qū)別。
奧特曼：大多數(shù)人都覺得我們正朝著這樣一個(gè)社會(huì)發(fā)展：在天空中有個(gè)漂浮的至高無上的超級(jí)智能存在。而我認(rèn)為，那是一個(gè)在某種意義上不那么可怕但仍然有些奇怪的社會(huì)，一個(gè)由很多AI和人類共同整合的社會(huì)。
關(guān)于這個(gè)已經(jīng)有很多電影，就像《星球大戰(zhàn)》中的角色C3PO或其他你想要的AI。人們知道這是AI，但它仍然很有用，人們?nèi)匀慌c之互動(dòng)，它有點(diǎn)像可愛的人，盡管你知道它不是一個(gè)人。
而在這個(gè)世界上，我們有一個(gè)很多AI與人類一起融入基礎(chǔ)設(shè)施的社會(huì)，這對(duì)我來說感覺更容易應(yīng)對(duì)，也不那么可怕。
科里森：對(duì)于OpenAI來說，顯然你們想成為并且是一家卓越的研究機(jī)構(gòu)。但是關(guān)于商業(yè)化，是成為一家消費(fèi)者公司更重要還是成為一家基礎(chǔ)設(shè)施公司更重要？
奧特曼：作為一項(xiàng)商業(yè)策略，我是支持平臺(tái)加頂級(jí)應(yīng)用的。我認(rèn)為這在很多企業(yè)中都取得了成功，原因是充分的。我認(rèn)為我們開發(fā)的消費(fèi)者產(chǎn)品有助于改進(jìn)我們的平臺(tái)。我希望隨著時(shí)間的推移，我們能夠找到方法，讓平臺(tái)也能夠改進(jìn)消費(fèi)者應(yīng)用。我認(rèn)為這是一個(gè)很好的連貫的策略，同時(shí)進(jìn)行。
但正如你指出的，我們的目標(biāo)是成為世界上最優(yōu)秀的研究機(jī)構(gòu)，這對(duì)我們來說比任何產(chǎn)品化更重要。我們建立這樣一個(gè)組織，能夠不斷取得突破性進(jìn)展，雖然并非所有嘗試都會(huì)成功，我們走過了一些彎路，但我們已經(jīng)找到了比其他人更多的范式轉(zhuǎn)變，并且我認(rèn)為我們將在這里實(shí)現(xiàn)下一個(gè)重大突破。這是我們努力的重點(diǎn)。
科里森：你使用的最好的非OpenAI的AI產(chǎn)品是什么？
奧特曼：坦率地說，我想不出其他什么產(chǎn)品。我對(duì)世界的了解比較狹窄，但ChatGPT是我每天使用的唯一AI產(chǎn)品。
科里森：有沒有你希望存在的AI產(chǎn)品，你認(rèn)為我們當(dāng)前的能力或即將實(shí)現(xiàn)的能力使得這種產(chǎn)品成為可能，你期待著它的出現(xiàn)？
奧特曼：我希望有一種像“副駕駛”一樣的產(chǎn)品，可以控制我的整個(gè)電腦。它可以查看我的Slack、電子郵件、Zoom、iMessage以及龐大的待辦事項(xiàng)和文檔，并且在很大程度上完成我的工作。
科里森：OpenAI在籌款方面做得非常出色，具有非常特殊的資本結(jié)構(gòu)，與非營(yíng)利組織和微軟的交易，等等，這些奇特的資本結(jié)構(gòu)被低估了嗎？企業(yè)和創(chuàng)始人是否應(yīng)該更加開放地思考？
奧特曼：我懷疑不是，我懷疑在這方面進(jìn)行創(chuàng)新可能是一件可怕的事情，你應(yīng)該在產(chǎn)品和科學(xué)方面進(jìn)行創(chuàng)新，而不是企業(yè)結(jié)構(gòu)方面。
我們所面臨的問題形式非常奇特，盡管我們盡力而為，但我們不得不采取一些奇怪的措施，但總體而言，這是一種令人不快的體驗(yàn)，也是一個(gè)消耗時(shí)間的過程。
對(duì)我參與的其他項(xiàng)目來說，它總是采用正常的資本結(jié)構(gòu)，我認(rèn)為那樣更好。
科里森：我們是否低估了資本的重要程度？你所參與的很多公司都需要大量資本?？赡躉penAI就是最需要資本的公司，雖然誰知道還有沒有別的更需要的。
我們是否低估了資本對(duì)未實(shí)現(xiàn)的創(chuàng)新的限制？這是否是你所參與的各種努力中的共同主題？
奧特曼：是的，我認(rèn)為這是個(gè)問題，基本上我參與的四家公司中，除了只是作為投資者寫支票的那些，所有的公司都需要大量資本。
科里森：你想要列舉一下這些公司嗎？對(duì)于在場(chǎng)的觀眾。
奧特曼：OpenAI和Healing是我最花時(shí)間的項(xiàng)目，然后還有Retro和Worldcoin。
但你知道，所有這些公司在任何產(chǎn)品出現(xiàn)之前都籌集了至少九位數(shù)的資金，OpenAI的這個(gè)數(shù)字更大，所有公司都在第一輪融資或在發(fā)布產(chǎn)品之前籌集了九位數(shù)的資金，它們都需要很長(zhǎng)時(shí)間，花費(fèi)多年時(shí)間才能發(fā)布產(chǎn)品。
我認(rèn)為愿意做這樣的事情是有很大價(jià)值的，而這種方式某個(gè)時(shí)候在硅谷失寵了。
我理解為什么，像那些只需要籌集幾十萬、一百萬美元就可以盈利的公司也很好，但我認(rèn)為我們過度傾向于這個(gè)方向了，我們已經(jīng)忘記了如何進(jìn)行高風(fēng)險(xiǎn)高回報(bào)的大量資本和時(shí)間密集型的投資，這些也是有價(jià)值的，我們應(yīng)該能夠支持兩種模式。
科里森：這涉及到為什么沒有更多的埃隆·馬斯克。
我猜，在過去的20年里，兩家最成功的硬件公司（SpaceX和Tesla）在更廣泛的意義上都是由同一個(gè)人創(chuàng)辦的。這看起來是一個(gè)令人驚訝的事實(shí)。
顯然，埃隆在很多方面都是獨(dú)一無二的。但你對(duì)這個(gè)問題的回答是什么，我們是否喜歡他這種特殊情況，資本的故事是不是與你所說的線索相符，如果讓你在世界上創(chuàng)造更多SpaceX和Tesla，你可能在自己的工作中也試圖做到這一點(diǎn)，但如果你不得不以系統(tǒng)的方式推動(dòng)這個(gè)方向，你會(huì)嘗試改變什么？
奧特曼：我從未遇見過另一個(gè)埃隆，我從未遇見過我認(rèn)為可以輕易地被培養(yǎng)成另一個(gè)埃隆的人。他是一種奇怪的獨(dú)一無二的人物。我很高興他存在于世界上；但你知道，他也是一個(gè)復(fù)雜的人。我不知道如何創(chuàng)造更多像他那樣的人，我不知道。我不知道你對(duì)如何創(chuàng)造更多的想法是什么，我很好奇。
科里森：哪家并未被視為AI公司的公司將在未來五年從AI中受益最多？
奧特曼：我認(rèn)為有一種投資工具會(huì)找出如何利用AI成為一個(gè)非凡的投資者，并且有著瘋狂的超額回報(bào)，所以像是利用這些新技術(shù)的Rentech。
科里森：那么，你看到有哪家（上市）公司呢？
奧特曼：你認(rèn)為微軟是一家AI公司嗎？
科里森：就這個(gè)問題而言，我們假設(shè)答案是否定的。
奧特曼：我認(rèn)為微軟將在幾乎所有方面通過AI進(jìn)行自我變革。
科里森：那是因?yàn)樗麄兏J(rèn)真對(duì)待這個(gè)問題，還是因?yàn)槲④浀男再|(zhì)使他們特別適合這個(gè)問題，更能理解這個(gè)問題？
奧特曼：他們比其他人更早地認(rèn)識(shí)到這個(gè)問題，并且比其他人更認(rèn)真地對(duì)待這個(gè)問題。
（原題：《ChatGPT之父：需要建立一個(gè)類似國(guó)際原子能機(jī)構(gòu)的AI監(jiān)管機(jī)構(gòu)》）
標(biāo)簽：
