API網(wǎng)關(guān)如何發(fā)展：更輕、更智能、云原生
如果大腦中的每個神經(jīng)元都有1000個連接，這意味著貓有大約2500億個突觸，狗有5300億個突觸。突觸計數(shù)通常似乎可以預(yù)測更高的智力，只有少數(shù)例外：例如，從技術(shù)上講，大象的突觸計數(shù)高于人類，但智力較低。
對于智力較低的突觸數(shù)量較大，最簡單的解釋是高質(zhì)量數(shù)據(jù)量較小。從進(jìn)化的角度來看，大腦是在數(shù)十億年的表觀遺傳學(xué)上“訓(xùn)練”的數(shù)據(jù)和人類大腦是從比大象更高質(zhì)量的社會化和通信數(shù)據(jù)進(jìn)化而來的，這導(dǎo)致了我們卓越的推理能力。無論如何，突觸數(shù)量絕對是重要的。
同樣，自2010年代初以來，人工智能能力的爆炸是更多計算能力和更多數(shù)據(jù)的結(jié)果。GPT-2有15億個連接，這比老鼠的大腦（約100億個突觸）還少。GPT-3有1750億個連接，這在一定程度上接近貓的大腦。
貓大腦大小的人工智能系統(tǒng)會優(yōu)于比老鼠大腦小的人工智能，這不是很直觀嗎？
2020年，在1750億個參數(shù)GPT-3發(fā)布后，許多人猜測一個模型在100萬億個參數(shù)下的潛在性能約為600倍，因?yàn)檫@個參數(shù)計數(shù)將與人腦的突觸計數(shù)相匹配。2020年，沒有強(qiáng)有力的跡象表明有人在積極研究這種尺寸的模型，但這很有趣。
? ? ? ?最大的問題是，是否可以通過參數(shù)計數(shù)來預(yù)測人工智能的性能？事實(shí)證明，答案是肯定的，正如你將在下一頁看到的那樣。
正如Lanrian所說明的那樣，在人類水平的大腦大小與參數(shù)計數(shù)相匹配的同時，人工智能的表現(xiàn)似乎莫名其妙地達(dá)到了人類水平。他對大腦中突觸數(shù)量的統(tǒng)計大約是200萬億個參數(shù)，而不是通常所說的100萬億個數(shù)字，但這一點(diǎn)仍然有效，在100萬億個參數(shù)下的表現(xiàn)非常顯著接近最優(yōu)。
? ? ? ?順便說一句，需要注意的一件重要的事情是，盡管100萬億在性能上略顯次優(yōu)，但OpenAI正在使用一種工程技術(shù)來彌補(bǔ)這一差距。我將在文檔的最后解釋這一點(diǎn)，因?yàn)樗鼘penAI的構(gòu)建至關(guān)重要。
Lanrian的帖子說明與先前模型之間性能的差距。OpenAI當(dāng)然有更詳細(xì)的指標(biāo)，它們得出了與Lanrian相同的結(jié)論，我將在本文后面展示。
那么，如果人工智能的性能是基于參數(shù)計數(shù)可預(yù)測的，并且大約100萬億個參數(shù)就足以滿足人類水平的性能，那么100萬億參數(shù)的人工智能模型何時發(fā)布？
? ? ? ? GPT-5在2023年末以48的智商實(shí)現(xiàn)了原始AGI。
?第一次提到OpenAI正在開發(fā)的100萬億參數(shù)模型是在2021年夏天，Cerebras公司CEO（Andrew Feldman）在有線采訪中即興提到了Sam Altman是該公司的主要投資者。
Sam Altman在2021年9月舉行的名為AC10的在線會議和問答中對安德魯·費(fèi)爾德曼的回應(yīng)。值得注意的是，Sam Altman承認(rèn)他們的100萬億參數(shù)模型計劃。
?僅僅幾周后，人工智能研究人員Igor Baikov就聲稱GPT-4正在接受訓(xùn)練，并將在12月至2月間發(fā)布。我將再次證明，Igor確實(shí)掌握了準(zhǔn)確的信息。
??Gwern是人工智能界的著名人物——他是一名人工智能研究人員和博客作者。他在推特上給Igor Baikov發(fā)了信息（2022年9月），這是他收到的回復(fù)。重要的是要記?。骸癈olossal number of parameters”.“Text”, “audio”, “images”, “possibly video”以及“multimodal”。這來自一個名為“thisisthewayitwillbe”的子版塊，由一位對AGI感興趣的數(shù)學(xué)教授運(yùn)營。人工智能愛好者（和一些專家）使用reddit子網(wǎng)站來深入討論人工智能話題，而不是主流話題。
根據(jù)Igor Baikov 對“Colossal number of parameters”？的理解，指的是一個100萬億參數(shù)模型，5000億參數(shù)模型和多達(dá)1萬億參數(shù)模型已經(jīng)被訓(xùn)練了很多次。
? ? ? ?這些來自“rxpu”的推文很有趣，他似乎是一位來自土耳其的人工智能愛好者，因?yàn)樗麄冊谄渌酥皩?a href="http://www.dlbhg.com/blog/comparing-gpt-3-5-amp-gpt-4/">GPT-4的發(fā)布窗口做出了非常相似的聲明（相信我——我每天花很多小時在互聯(lián)網(wǎng)上搜索類似的聲明，在他之前沒有其他人做出過具體的聲明）。
? ? ? ?他還提到了“125萬億突觸”GPT-4——然而，他錯誤地將GPT-3的參數(shù)計數(shù)稱為1萬億。（看起來rxpu確實(shí)有內(nèi)幕信息，但與參數(shù)計數(shù)混淆了——我稍后將再次說明這一點(diǎn)，并證明rxpu沒有撒謊）。
??這是一個較弱的證據(jù)，因?yàn)椤皉oon”作為硅谷人工智能研究人員相當(dāng)引人注目，緊隨其后的是OpenAI首席執(zhí)行官Sam Altman和推特上的其他OpenAI研究人員。
??2022年11月，我聯(lián)系了一位名叫Alberto Romero的人工智能博主。他的帖子似乎在網(wǎng)上傳播得很廣，所以我希望如果我給他發(fā)一些關(guān)于GPT-4的基本信息，他可能會寫一篇文章，消息就會傳開。
? ? ? ?正如我將在接下來的兩頁中展示的那樣，這次嘗試的結(jié)果非常顯著。
? ?Alberto Romero的帖子。一般回復(fù)將顯示在下一頁。
?這起100萬億參數(shù)泄露事件在網(wǎng)上瘋傳，波及數(shù)百萬人，以至于包括首席執(zhí)行官Sam Altman在內(nèi)的OpenAI員工不得不做出回應(yīng)，稱其為“徹頭徹尾的胡說八道”。The Verge稱其“事實(shí)不正確”。正如你在左邊看到的，Alberto Romero聲稱對泄漏事件負(fù)責(zé)。
Igor說“Colossal number of parameters”時，他的意思確實(shí)是“100萬億個參數(shù)”。
? ? ? ?但是，Igor消息的來源可靠嗎？他的其他說法準(zhǔn)確嗎？多模態(tài)呢？GPT-4處理圖像、聲音和視頻的能力如何？我很快就會證明Igor的可靠性。
大約在2022年10月/11月的某個時候，我確信OpenAI計劃在發(fā)布完整的100萬億參數(shù)模型（“GPT-5”）之前，首先發(fā)布GPT-4的約1-2萬億參數(shù)子集。這些消息來源并不特別可靠，但他們都說了同樣的話——包括rxpu，他曾經(jīng)聲稱有一個125萬億的參數(shù)模型在研究中，然后錯誤地聲稱GPT-3是1萬億——我相信他把信息搞混了。
這里的消息來源可信度各不相同（Jyri和Leeor是舊金山的投資者，Harris是人工智能研究員），但他們都莫名其妙地說了同樣的話——GPT-4在2022年10月/11月進(jìn)行了測試。根據(jù)美國軍事人工智能研究人員Cherie M Poland的說法，它肯定在10月接受訓(xùn)練，這再次與Igor Baikov的泄密事件相吻合。
正如Sam Altman本人所證明的那樣，OpenAI的官方立場是，100萬億參數(shù)GPT-4的想法“完全是胡說八道”。這是對的一半，因?yàn)镚PT-4是完整的100萬億參數(shù)模型的1萬億參數(shù)子集。
?為了說明100萬億參數(shù)模型尚未到來，仍在開發(fā)中，Semafor在2023年3月（GPT-4發(fā)布后不久）聲稱GPT-4是1萬億參數(shù)。（OpenAI拒絕披露參數(shù)量）。
另一件毫無價值的事情是，OpenAI聲稱GPT-4在8月“完成了訓(xùn)練”，而我們知道8月至10月期間正在訓(xùn)練一個“巨大”的多模態(tài)模型。對此的一種解釋是，OpenAI撒謊了。另一種可能性是，1萬億參數(shù)GPT-4可能在8月完成了第一輪訓(xùn)練，但在8月至10月之間進(jìn)行了額外的再訓(xùn)練，這是整個100萬億參數(shù)模型的大部分訓(xùn)練時間。
我將提供我的證據(jù)，證明GPT-4不僅接受了文本和圖像訓(xùn)練，還接受了音頻和視頻訓(xùn)練。
Francis Hellyer似乎可信，但這一頁并不是最可靠的證據(jù)——我之所以把它包括在內(nèi)，是因?yàn)樗坪踝C實(shí)了其他消息來源的說法。弗朗西斯是一位投資者、企業(yè)家和作家。他在推文中列出的關(guān)于團(tuán)隊(duì)“互聯(lián)網(wǎng)即將耗盡”的信息在任何其他出版物、任何泄露或任何在線帖子中都找不到，所以他沒有從其他地方“竊取”這些信息。
? ? ? ? 下一頁上有一個非?？煽康膩碓础?/p>
??在GPT-4正式發(fā)布的前一周，微軟德國公司的CTO似乎出現(xiàn)了失誤，并透露存在一種能夠處理視頻的GPT-4。我想他不知道OpenAI決定不透露系統(tǒng)的視頻功能。
? ? ? 這完全證明GPT-4/5不僅在文本和圖像上訓(xùn)練，而且在視頻數(shù)據(jù)上訓(xùn)練，當(dāng)然我們可以推斷音頻數(shù)據(jù)也包括在內(nèi)。
顯然，Igor關(guān)于100萬億參數(shù)模型的說法是正確的，直到每一個精確的細(xì)節(jié)。
? ? ? 另一個與Igor說法一致的消息來源是一位可靠的企業(yè)家，他表示（2022年10月25日）GPT-4的發(fā)布日期將在2023年1月至2月之間：
盡管GPT-4發(fā)布于2023年3月，略晚于Igor Baikov聲稱的12月至2月窗口期（我認(rèn)為這是OpenAI故意抹黑Igor的泄露），但Bing ChatGPT（基于GPT-4）實(shí)際上是在2023年2月發(fā)布的，這清楚地表明Igor聲稱的窗口期是有效的，很可能在最后一分鐘被驚慌失措的OpenAI更改了。
關(guān)于機(jī)器人：人工智能研究人員開始相信，視覺是實(shí)現(xiàn)最佳現(xiàn)實(shí)世界/物理性能所必需的一切。舉一個例子，特斯拉完全拋棄了所有傳感器，完全致力于基于視覺的自動駕駛汽車方案。
? ? ? 在互聯(lián)網(wǎng)上的所有圖像和視頻數(shù)據(jù)上訓(xùn)練一個人腦大小的人工智能模型足以處理復(fù)雜的機(jī)器人任務(wù)。常識性推理被隱藏在視頻數(shù)據(jù)中，就像它被隱藏在文本數(shù)據(jù)中一樣（以文本為中心的GPT-4非常擅長常識性推理）。
? 谷歌最近的一個例子是，從一個大型視覺/語言模型中學(xué)習(xí)機(jī)器人能力。（除了語言和視覺訓(xùn)練外，還需要最少的機(jī)器人數(shù)據(jù)，視覺和文本任務(wù)中的知識轉(zhuǎn)移到機(jī)器人任務(wù)中。OpenAI正在“互聯(lián)網(wǎng)上的所有數(shù)據(jù)”上訓(xùn)練他們的100萬億參數(shù)模型，其中無疑包括機(jī)器人數(shù)據(jù)）。Palm-E是一個約5000億的參數(shù)模型——當(dāng)你根據(jù)互聯(lián)網(wǎng)上所有可用的數(shù)據(jù)訓(xùn)練一個100萬億的參數(shù)模型時，機(jī)器人的性能會發(fā)生什么？（下一頁有更多關(guān)于谷歌Palm-E機(jī)型的信息）。
另一項(xiàng)機(jī)器人技術(shù)開發(fā)——這次來自特斯拉（2023年5月16日）。他們訓(xùn)練他們的機(jī)器人“擎天柱”來抓住一個物體——而且“沒有完成特定任務(wù)的編程”。一切都是從人類身上學(xué)到的示威。
“這意味著我們現(xiàn)在可以快速擴(kuò)展到許多任務(wù)?！?/p>
? ? ? ?再一次：如果高級機(jī)器人性能只需要人類演示，那么在網(wǎng)絡(luò)上所有視頻上訓(xùn)練的100萬億參數(shù)模型肯定能夠?qū)崿F(xiàn)驚人的機(jī)器人性能。
?左邊的圖像顯示了1萬億參數(shù)GPT-4在圖像識別方面的能力。這種反應(yīng)已經(jīng)比許多人類所能想到的更清晰、寫得更好了。那么，當(dāng)你根據(jù)互聯(lián)網(wǎng)上的所有數(shù)據(jù)訓(xùn)練一個比GPT-4大100倍的模型時，會發(fā)生什么呢？GPT-4是人腦的大小？
公開可用的視頻和圖像生成AI模型的當(dāng)前質(zhì)量水平示例。這些模型的參數(shù)大小不到100億。當(dāng)你用互聯(lián)網(wǎng)上的所有可用數(shù)據(jù)訓(xùn)練一個大一萬倍的模型，并使其能夠生成圖像和視頻時，會發(fā)生什么？（答案是：圖像和視頻與真實(shí)事物完全無法區(qū)分，100%的情況下，沒有例外，沒有變通辦法，任何人都無法區(qū)分，無論他們多么努力）。-（更新：SORA來自GPT-5 Q*2023型號）
? ? ? ?Longjumpting-Sky-1971的兩個帖子。我之所以包括這一點(diǎn)，是因?yàn)樗崆皫字軠?zhǔn)確預(yù)測了GPT-4的發(fā)布日期（沒有其他人提前公開發(fā)布這一信息，這意味著他有內(nèi)部消息來源）。他的帖子現(xiàn)在有了更多的可信度——他聲稱圖像和音頻生成將在2023年第三季度進(jìn)行培訓(xùn)。如果視頻生成訓(xùn)練是同時進(jìn)行的或之后不久進(jìn)行的，這與陳思琪關(guān)于GPT-5將于2023年12月完成訓(xùn)練的說法一致。
讓我們回到2020年2月，也就是GPT-3發(fā)布的幾個月前。《技術(shù)評論》的一篇關(guān)于OpenAI的“內(nèi)幕”文章似乎表明，OpenAI正處于一個“秘密”項(xiàng)目的早期階段，該項(xiàng)目涉及一個基于圖像、文本和“其他數(shù)據(jù)”的人工智能系統(tǒng)，OpenAI的領(lǐng)導(dǎo)層認(rèn)為這是實(shí)現(xiàn)AGI的最有希望的方式。我想知道這可能指的是什么。
? ? ? ?下一張幻燈片將展示2019年OpenAI總裁的一些語錄，并告訴您他們的計劃是什么。
OpenAI總裁Greg Brockman在2019年表示，在微軟當(dāng)時投資10億美元后，OpenAI計劃在五年內(nèi)建立一個人腦大小的模型，這是他們的計劃如何實(shí)現(xiàn)AGI。
2019 + 5 = 2024
?這兩個消息來源顯然都指的是實(shí)現(xiàn)AGI的同一計劃——一種人腦大小的人工智能模型，基于“圖像、文本和其他數(shù)據(jù)”進(jìn)行訓(xùn)練，將在2019年的五年內(nèi)進(jìn)行訓(xùn)練，到2024年。似乎與我在這份文件中列出的所有其他來源一致。
? 正如我將在接下來的幾張幻燈片中展示的那樣，人工智能領(lǐng)導(dǎo)者突然開始敲響警鐘——幾乎就像他們知道了一些公眾不知道的非常具體的事情。
“我以為還有30到50年甚至更長的時間。顯然，我不再這么認(rèn)為了?！?/p>
是什么讓他突然改變主意——決定離開谷歌去談?wù)撊斯ぶ悄艿奈ｋU？
? GPT-4發(fā)布后不久，關(guān)注減輕世界潛在災(zāi)難性風(fēng)險的極具影響力的非營利組織生命未來研究所發(fā)布了一封公開信，呼吁所有人工智能實(shí)驗(yàn)室暫停人工智能開發(fā)六個月。為什么？
這封信的第一個發(fā)布版本特別提到了“（包括目前正在訓(xùn)練的GPT-5）”。為什么它被包括在內(nèi)，為什么它被刪除？
2022年10月，Sam Altman的一次采訪和問答中引用了一些令人震驚的話——youtube鏈接：https://m.youtube.com/watch?v=b022FECpNe8（時間：49:30）
觀眾問答問題：“我們在互聯(lián)網(wǎng)來創(chuàng)建AGI？”
Sam Altman直率而直接的回答打斷了提問者的提問：
“對”
Sam詳細(xì)闡述道：“是的，我們有信心。我們對此進(jìn)行了大量思考和衡量?！?/p>
面試官插話道：“是什么給了你這種自信？”
Sam的回答是：“我認(rèn)為OpenAI在這個非常健康的領(lǐng)域所做的一件事是，你可以將縮放定律視為一種科學(xué)預(yù)測。你可以為計算這樣做，也可以為數(shù)據(jù)這樣做，但你可以在小規(guī)模上進(jìn)行測量，你可以非常準(zhǔn)確地預(yù)測它將如何縮放。你需要多少數(shù)據(jù)，需要多少計算，需要多少參數(shù)，何時生成的數(shù)據(jù)足夠好，可以提供幫助……互聯(lián)網(wǎng)……有很多數(shù)據(jù)。還有很多視頻。”
Sam Altman問答中的另一句話——（時間：53:00）[注意——人工智能的冬天是指人工智能領(lǐng)域受到限制的延長時間資金，并沒有得到認(rèn)真研究人員的太多關(guān)注。這種情況發(fā)生過兩次——一次是在70年代和80年代，另一次是從80年代中期到21世紀(jì)末。]
另一位觀眾提問：“我們能再過一個人工智能冬天嗎可能導(dǎo)致它？”
Sam Altman回應(yīng)道：“我們會有一個人工智能的冬天嗎？是的，當(dāng)然是什么原因造成的。我認(rèn)為我們不會很快有一個冬天。因?yàn)榧词刮覀冊僖舱也坏搅硪粋€研究想法，當(dāng)前范式的經(jīng)濟(jì)價值和可以進(jìn)一步推進(jìn)的程度也會讓我們在未來的許多年里走下去。但無論可能性如何，我們?nèi)杂锌赡苠e過超越行為克隆的關(guān)鍵想法，這些模型將永遠(yuǎn)停留在人類層面。我不認(rèn)為這是真的，有很多原因，但如果有人告訴我們不可能在這個研究領(lǐng)域再經(jīng)歷一個冬天，你永遠(yuǎn)不應(yīng)該相信他們。”
首先，Sam Altman似乎高度、高度自信地認(rèn)為，互聯(lián)網(wǎng)上有足夠的數(shù)據(jù)來訓(xùn)練AGI系統(tǒng)——自信到讓人懷疑他們是否已經(jīng)這樣做了，或者正在這樣做。
其次，“AI冬天”的概念通常指的是向AGI的進(jìn)展放緩的時期，但Sam Altman重新定義了這個術(shù)語，指的是朝超智能的進(jìn)展放緩。這似乎表明，OpenAI已經(jīng)構(gòu)建了一個AGI系統(tǒng)，或者非常接近它，AGI不再是目標(biāo)，因?yàn)樗呀?jīng)存在。
正如我在文件中早些時候提到的，100萬億參數(shù)模型實(shí)際上有點(diǎn)次優(yōu)，但OpenAI正在使用一種新的縮放范式來彌補(bǔ)這一差距——它基于一種名為“Chinchilla縮放定律”的東西
Chinchilla是DeepMind于2022年初推出的一款人工智能模型。Chinchilla研究論文的含義是，當(dāng)前的模型訓(xùn)練嚴(yán)重不足，如果有更多的計算（意味著更多的數(shù)據(jù)），將在不需要增加參數(shù)的情況下大幅提高性能。
關(guān)鍵是，雖然訓(xùn)練不足的100萬億參數(shù)模型可能有點(diǎn)次優(yōu)，但如果它在更多的數(shù)據(jù)上進(jìn)行訓(xùn)練，它將很容易超過人類水平的性能。
? ? ? ?Chinchilla范式在機(jī)器學(xué)習(xí)領(lǐng)域被廣泛理解和接受，但僅舉一個OpenAI的具體例子，總裁Greg Brockman在本次采訪中討論了OpenAI如何意識到他們最初的縮放定律是有缺陷的，并從那時起進(jìn)行了調(diào)整，以將Chinchila定律考慮在內(nèi)：https://youtu.be/Rp3A5q9L_bg?t=1323
? ? ? ?人們說，“訓(xùn)練一個計算最優(yōu)的100萬億參數(shù)模型將花費(fèi)數(shù)十億美元，而且是不可行的?！焙冒桑④浽?023年初剛剛向OpenAI投資了100億美元，所以我想這畢竟不是一種荒謬的可能性。。。
Alberto Romero寫了一篇關(guān)于DeepMind的Chinchilla縮放突破的文章。Chinchilla表明，盡管它比GPT-3和DeepMind自己的Gopher小得多，但由于接受了更多數(shù)據(jù)的訓(xùn)練，它的表現(xiàn)優(yōu)于它們。再次重申這一點(diǎn)：盡管預(yù)計100萬億參數(shù)模型的性能會略次優(yōu)，但OpenAI非常清楚Chinchilla縮放定律（就像人工智能領(lǐng)域的幾乎所有其他人一樣），他們正在將Q*訓(xùn)練為一個100萬億參數(shù)的多模態(tài)模型，該模型是COMPUTE OPTIMAL，并在比最初多得多的數(shù)據(jù)上進(jìn)行訓(xùn)練預(yù)定的他們現(xiàn)在有資金通過微軟來做這件事。這將導(dǎo)致一個FAR，F(xiàn)AR超過他們最初計劃的100萬億參數(shù)模型的性能的模型。沒有Chinchilla比例定律的100萬億個參數(shù)=大致為人類水平，但略次優(yōu)。100萬億參數(shù)，多模態(tài)，考慮Chinchilla比例定律=？
從2022年7月開始，美國開始采取行動，阻止新的計算機(jī)芯片運(yùn)往中國，試圖阻止其人工智能的發(fā)展。該計劃于2022年10月最終確定。根據(jù)舊金山人工智能研究人員Israel Gonzales-Brooks的說法，Sam Altman于2022年9月在華盛頓。以色列聲稱與薩姆·奧特曼有聯(lián)系（我無法證實(shí)這一點(diǎn)），但讓他可信的是，薩姆·奧特曼被證實(shí)于2023年1月前往華盛頓。
? ? ? ?如果GPT-4/GPT-5在2022年夏天開始訓(xùn)練，而薩姆·奧特曼在此期間訪問了DC（可能多次），那么中國的芯片禁令不可能是巧合。
??OpenAI計劃到2027年建立人類級的人工智能，然后擴(kuò)展到超級智能。由于埃隆·馬斯克的訴訟，這項(xiàng)計劃被推遲了，但仍將很快到來。
? ?最后，我將揭示一個令人難以置信的信息來源——來自著名計算機(jī)科學(xué)家Scott Aaronson。2022年夏天，他加入OpenAI一年，致力于人工智能安全。他在他的博客上有一些非常有趣的事情要說，我接下來會展示。
斯科特·阿朗森在2022年12月底寫了一篇博客文章，這是一封“給11歲的自己的信”，討論了時事和他在生活中的成就。
下一頁是可怕的部分。。。
Scott Aaronson“給11歲的自己的信”的下一部分。只要讀一下。。
?斯科特指的是Q*：一種多模態(tài)、125萬億參數(shù)的野獸。感謝閱讀-杰克遜（推特上的@vancouver1717）
It‘s over！
文章轉(zhuǎn)自微信公眾號@ArronAI
