這張圖很好地展示了近年來大規模語言模型的發展，并突出了其中的一些最知名的模型。同一分支上的模型具有更緊密的關系。在過去的十年里，人工智能（AI）領域經歷了翻天覆地的變化，特別是大規模語言模型的飛速發展，使得公眾幾乎將AI與這些龐大的模型劃上了等號。為了深入理解這些技術之間的聯系和差異，我們需要從AI的發展歷史著手，探索不同技術的演進路徑，以便對當前的熱門技術如巨型語言模型、智能識別、計算機視覺、AI創作、AI代理、RAG等有一個基本的認識。
回顧AI的發展歷程，我們可以將其大致劃分為六個主要階段。盡管對于這一歷史分期存在一些爭議，但這并不影響我們對AI發展脈絡的把握。這種分期方法主要是基于神經網絡模型的演化來進行的。實際上，模型的發展與技術創新密切相關，并且與計算機的計算能力有著直接的聯系。例如，在神經網絡最初被提出時，許多學者對此表現出極大的興趣，但由于當時計算能力的限制，AI的發展經歷了一段漫長的停滯期。
.explinks.com/wp-content/uploads/2024/06/image-690.png)1、人工智能起步發展期：1943年—20世紀60年代
2、人工智能反思發展期：20世紀70年代
3、人工智能應用發展期：20世紀80年代
4、人工智能平穩發展期：20世紀90年代—2010年
5、人工智能蓬勃發展期：2011年-2018年
6、LLM繁榮發展期：2018年-2023年
自從人工智能（AI）這個概念被提出，它就逐漸分化為兩大主要學派：符號主義和聯結主義（神經網絡），并取得了一系列重要的科學成果，例如機器證明定理、下棋程序和人機對話等，這些都推動了人工智能歷史上的第一個發展高潮。
1943年，美國神經科學家沃倫·斯特·麥卡洛克和邏輯學家沃爾特·皮茨提出了神經元的數學模型，為現代人工智能學科的建立奠定了基礎。
1950年，艾倫·圖靈提出了著名的“圖靈測試”，使得機器智能的概念開始被廣泛認知。同年，克勞德·香農提出了計算機下棋的構想。
1956年，在達特茅斯學院的夏季研討會上，“人工智能”這一術語被正式提出，標志著人工智能作為一個獨立學科的誕生。
1957年，弗蘭克·羅森布拉特在IBM-704計算機上實現了他發明的“感知機”模型，這是早期神經網絡研究的一個重要里程碑。
1958年，大衛·考克斯提出了邏輯回歸模型，這是一種線性分類模型，結構與感知機相似，但使用了Sigmoid激活函數，目的是最大化分類的準確性。
1959年，亞瑟·塞繆爾首次定義了機器學習：一個旨在讓計算機能夠自主學習而無需顯式編程的研究領域。
1961年，倫納德·烏爾和查爾斯·沃斯勒發表了一篇關于模式識別的論文，描述了他們嘗試利用機器學習或自組織過程來設計模式識別程序。
1965年，I.J. 古德提出了“AI威脅論”，警告說機器的超級智能可能會超出人類的控制，這一觀點后來被多位科學家進一步探討。
1966年，麻省理工學院的約瑟夫·魏岑鮑姆開發了ELIZA程序，使得人與計算機之間的自然語言對話成為可能，ELIZA通過關鍵詞匹配規則來生成回復。
1967年，托馬斯等人提出了K最近鄰（KNN）算法，這是一種基于實例最近鄰數據的分類方法。
1968年，愛德華·費根鮑姆提出了首個專家系統DENDRAL，并定義了“知識庫”這一概念。該系統在化學領域擁有豐富的知識，能夠通過質譜數據推斷分子結構，這標志著人工智能史上第二次浪潮的開始。
1969年，馬文·明斯基在其著作《感知器》中提出了XOR問題，指出單層感知器無法解決XOR這類線性不可分問題，這一發現導致神經網絡研究進入了一個長達十年的低谷期。
在人工智能的早期發展階段，盡管取得了一些突破性的成果，但在嘗試解決更復雜問題時，受限于當時的計算能力限制和理論發展的不足，許多預期的目標未能實現，導致人工智能領域經歷了一個相對平靜的時期。
1974年，哈佛大學的保羅·沃博斯在其博士論文中首次提出了利用誤差反向傳播（BP算法）來訓練人工神經網絡的理論。盡管這一時期的研究并未受到廣泛關注，但BP算法的核心思想是利用誤差的導數（梯度）來調整權重，以期逐步減少誤差，最終使網絡具備“萬能近似”的能力。
1975年，馬文·明斯基在論文《框架理論》中提出了知識表示的學習框架，這成為了人工智能研究的一個關鍵轉折點。
1976年，蘭德爾·戴維斯致力于開發和維護龐大的知識庫，并提出通過集成面向對象的模型可以增強知識庫的開發、維護和應用的一致性。同年，斯坦福大學的愛德華·肖特利夫等開發了首個用于診斷和治療血液感染的醫療專家系統MYCIN。
同年，斯坦福大學的勒納特發表了論文《啟發式搜索在數學中的應用》，介紹了一個名為“AM”的程序，該程序利用大量啟發式規則來探索新的數學概念，并重新發現了數百個數學中的標準概念和定理。
1977年，海斯·羅思等人開發的基于邏輯的機器學習系統取得了初步進展，盡管當時它只能學習單一概念，還未能在實際應用場景中廣泛使用。
1979年，漢斯·貝利納開發的計算機程序在雙陸棋比賽中戰勝了世界冠軍，這一成就標志著人工智能發展的一個重要里程碑。隨后，在羅德尼·布魯克斯和其他人的努力下，基于行為的機器人學迅速崛起，成為人工智能的一個重要分支。同時，格瑞·特索羅開發的自學雙陸棋程序也為后來的強化學習研究奠定了基礎。
人工智能的發展進入了一個新的高峰期，這標志著其歷史上又一個快速增長階段。專家系統通過模仿人類專家的知識和經驗來解決特定領域的問題，實現了人工智能從理論探索到實際應用、從一般推理策略的討論到專門知識應用的重大轉變。同時，機器學習（尤其是神經網絡）探索了不同的學習策略和各種學習方法，并在眾多實際應用中逐步恢復活力。
1980年，卡內基梅隆大學（CMU）舉辦了首屆機器學習國際研討會，這標志著機器學習研究在全球范圍內的興起。
同年，德魯·麥迪蒙和喬恩·多伊爾提出了非單調邏輯，以及隨后的機器人系統。
1980年，卡耐基梅隆大學為DEC公司開發了XCON專家系統，該系統每年為公司節省了四千萬美元，取得了巨大成功。
1981年，R.P. Paul出版了第一本機器人學教科書《機器人操縱器：數學、編程和控制》，這標志著機器人學科的成熟。
1982年，大衛·馬爾發表了他的代表作《視覺計算理論》，提出了計算機視覺的概念，并構建了系統的視覺理論，對認知科學產生了深遠影響。
同年，約翰·霍普菲爾德發明了霍普菲爾德網絡，這是最早的遞歸神經網絡（RNN）的原型。霍普菲爾德神經網絡模型是一種單層反饋神經網絡，具有從輸出到輸入的反饋連接，它的出現極大地激發了神經網絡領域的興趣。
1983年，特倫斯·謝諾夫斯基和杰弗里·欣頓等人發明了玻爾茲曼機，也稱為隨機霍普菲爾德網絡，這是一種無監督模型，用于對輸入數據進行重構以提取數據特征進行預測分析。
1985年，朱迪亞·珀爾提出了貝葉斯網絡，他以倡導人工智能的概率方法和發展貝葉斯網絡而聞名，還因發展了一種基于結構模型的因果和反事實推理理論而受到贊譽。貝葉斯網絡是一種模擬人類推理過程中因果關系的不確定性處理模型，如常見的樸素貝葉斯分類算法就是貝葉斯網絡最基本的應用。
1986年，羅德尼·布魯克斯發表了論文《移動機器人魯棒分層控制系統》，這標志著基于行為的機器人學科的創立，機器人學界開始關注實際工程主題。
同年，杰弗里·欣頓等人提出了多層感知器（MLP）與反向傳播（BP）訓練相結合的理念，解決了單層感知器無法進行非線性分類的問題，開啟了神經網絡的新高潮。
同年，羅斯·昆蘭提出了ID3決策樹算法。決策樹模型可視為多個規則的組合，與神經網絡的黑盒模型不同，它具有良好的模型解釋性。ID3算法的核心思想是通過自頂向下的貪心策略構建決策樹，根據信息增益來選擇特征進行劃分。
1989年，喬治·西本科證明了“萬能近似定理”，簡單來說，多層前饋網絡可以近似任意函數，其表達力與圖靈機等價，從根本上消除了對神經網絡表達力的質疑。
同年，揚·勒丘恩結合反向傳播算法與權值共享的卷積神經層發明了卷積神經網絡（CNN），并首次將CNN成功應用于美國郵局的手寫字符識別系統中。CNN通常由輸入層、卷積層、池化層和全連接層組成，卷積層負責提取圖像中的局部特征，池化層用于降低參數量級，全連接層則輸出結果。
互聯網技術的迅猛發展極大地推動了人工智能領域的創新研究，使得AI技術變得更加實用，人工智能的各個分支都取得了顯著的進步。在2000年代初，由于專家系統需要編碼大量明確的規則，這不僅降低了效率還增加了成本，因此人工智能研究的重點從基于知識系統轉向了機器學習，這是AI發展史上的一個重大轉變。
1995年，Cortes和Vapnik提出了支持向量機（SVM），它在處理小樣本、非線性及高維模式識別問題時展現了顯著的優勢，并能擴展到函數擬合等其他機器學習問題。SVM是在感知機基礎上的改進，基于統計學習理論的VC維理論和結構風險最小化原則，與感知機的主要區別在于SVM尋找的是最大化樣本間隔的超平面，具有更強的泛化能力，并通過核函數處理線性不可分問題。
同年，Freund和Schapire提出了AdaBoost算法，這是一種Boosting集成學習方法，通過串行組合弱學習器來提升泛化性能。與Bagging方法不同，Boosting主要優化偏差。
1997年，IBM的深藍超級計算機戰勝了國際象棋世界冠軍加里·卡斯帕羅夫，深藍通過窮舉所有可能的走法并執行深度搜索來實現智能。
同年，Sepp Hochreiter和Jürgen Schmidhuber提出了長短期記憶網絡（LSTM），這是一種復雜的循環神經網絡，通過引入遺忘門、輸入門和輸出門來解決長序列訓練中的梯度消失問題。
1998年，蒂姆·伯納斯-李提出了語義網的概念，目的是通過添加計算機可理解的語義元數據，使互聯網成為一個基于語義鏈接的通用信息交換媒介。
2001年，John Lafferty提出了條件隨機場模型（CRF），這是一種基于貝葉斯理論的判別式概率圖模型，在自然語言處理任務中表現出色。
同年，布雷曼博士提出了隨機森林算法，這是一種通過Bagging并行組合多個有差異的弱學習器來優化泛化性能的集成學習方法。
2003年，David Blei, Andrew Ng和Michael I. Jordan提出了LDA，這是一種無監督學習方法，用于推測文檔的主題分布。
同年，Google發表了三篇大數據領域的奠基性論文，為大數據存儲和分布式處理提供了理論基礎。
2005年，波士頓動力公司推出了一款具有動力平衡的四足機器狗，能夠適應復雜地形。
2006年，杰弗里·辛頓和他的學生魯斯蘭·薩拉赫丁諾夫正式提出了深度學習的概念，開啟了深度學習在學術界和工業界的浪潮，辛頓也因此被譽為深度學習之父。深度學習使用多層隱藏層網絡結構，通過大量的向量計算來學習數據的高階表示。
2010年，Sinno Jialin Pan和Qiang Yang發表了關于遷移學習的調查文章。遷移學習是利用已有知識（如訓練好的網絡權重）來學習新知識以適應特定目標任務的方法，核心在于找到已有知識和新知識之間的相似性。
隨著大數據、云計算、互聯網、物聯網等信息技術的發展，泛在感知數據和圖形處理器等計算平臺推動以深度神經網絡為代表的人工智能技術飛速發展，大幅跨越了科學與應用之間的技術鴻溝，諸如圖像分類、語音識別、知識問答、人機對弈、無人駕駛等人工智能技術實現了重大的技術突破，迎來人工智能發展史上首次爆發式增長的新高潮，大批智能識別企業及應用由此誕生。
2011年，IBM Watson問答機器人參與Jeopardy回答測驗比賽最終贏得了冠軍。Waston是一個集自然語言處理、知識表示、自動推理及機器學習等技術實現的電腦問答（Q&A）系統。
2012年，Hinton和他的學生Alex Krizhevsky設計的AlexNet神經網絡模型在ImageNet競賽大獲全勝，這是史上第一次有模型在 ImageNet 數據集表現如此出色，并引爆了神經網絡的研究熱情。
AlexNet是一個經典的CNN模型，在數據、算法及算力層面均有較大改進，創新地應用了Data Augmentation、ReLU、Dropout和LRN等方法，并使用GPU加速網絡訓練。
2012年，谷歌正式發布谷歌知識圖譜Google Knowledge Graph），它是Google的一個從多種信息來源匯集的知識庫，通過Knowledge Graph來在普通的字串搜索上疊一層相互之間的關系，協助使用者更快找到所需的資料的同時，也可以知識為基礎的搜索更近一步，以提高Google搜索的質量。知識圖譜是結構化的語義知識庫，是符號主義思想的代表方法，用于以符號形式描述物理世界中的概念及其相互關系。其通用的組成單位是RDF三元組(實體-關系-實體)，實體間通過關系相互聯結，構成網狀的知識結構。
2013年，Durk Kingma和Max Welling在ICLR上以文章《Auto-Encoding Variational Bayes》提出變分自編碼器（Variational Auto-Encoder，VAE）。
VAE基本思路是將真實樣本通過編碼器網絡變換成一個理想的數據分布，然后把數據分布再傳遞給解碼器網絡，構造出生成樣本，模型訓練學習的過程是使生成樣本與真實樣本足夠接近。
2013年，Google的Tomas Mikolov 在《Efficient Estimation of Word Representation in Vector Space》提出經典的 Word2Vec模型用來學習單詞分布式表示，因其簡單高效引起了工業界和學術界極大的關注。
Word2Vec基本的思想是學習每個單詞與鄰近詞的關系，從而將單詞表示成低維稠密向量。通過這樣的分布式表示可以學習到單詞的語義信息，直觀來看，語義相似的單詞的距離相近。
Word2Vec網絡結構是一個淺層神經網絡（輸入層-線性全連接隱藏層->輸出層），按訓練學習方式可分為CBOW模型(以一個詞語作為輸入，來預測它的鄰近詞)或Skip-gram模型 (以一個詞語的鄰近詞作為輸入，來預測這個詞語)。
2014年，聊天程序“尤金·古斯特曼”（Eugene Goostman）在英國皇家學會舉行的“2014圖靈測試”大會上，首次“通過”了圖靈測試。
2014年，Goodfellow及Bengio等人提出生成對抗網絡（Generative Adversarial Network，GAN），被譽為近年來最酷炫的神經網絡。
GAN是基于強化學習(RL)思路設計的，由生成網絡(Generator, G)和判別網絡(Discriminator, D)兩部分組成， 生成網絡構成一個映射函數G: Z→X（輸入噪聲z, 輸出生成的偽造數據x）, 判別網絡判別輸入是來自真實數據還是生成網絡生成的數據。在這樣訓練的博弈過程中，提高兩個模型的生成能力和判別能力。
2015年，為紀念人工智能概念提出60周年，深度學習三巨頭LeCun、Bengio和Hinton(他們于2018年共同獲得了圖靈獎)推出了深度學習的聯合綜述《Deep learning》。
《Deep learning》文中指出深度學習就是一種特征學習方法，把原始數據通過一些簡單的但是非線性的模型轉變成為更高層次及抽象的表達，能夠強化輸入數據的區分能力。通過足夠多的轉換的組合，非常復雜的函數也可以被學習。
2015年，Microsoft Research的Kaiming He等人提出的殘差網絡（ResNet）在ImageNet大規模視覺識別競賽中獲得了圖像分類和物體識別的優勝。
殘差網絡的主要貢獻是發現了網絡不恒等變換導致的“退化現象（Degradation）”，并針對退化現象引入了 “快捷連接（Shortcut connection）”，緩解了在深度神經網絡中增加深度帶來的梯度消失問題。
2015年，谷歌開源TensorFlow框架。它是一個基于數據流編程（dataflow programming）的符號數學系統，被廣泛應用于各類機器學習（machine learning）算法的編程實現，其前身是谷歌的神經網絡算法庫DistBelief。
2015年，馬斯克等人共同創建OpenAI。它是一個非營利的研究組織，使命是確保通用人工智能 (即一種高度自主且在大多數具有經濟價值的工作上超越人類的系統）將為全人類帶來福祉。其發布熱門產品的如：OpenAI Gym，GPT等。
2016年，谷歌提出聯邦學習方法，它在多個持有本地數據樣本的分散式邊緣設備或服務器上訓練算法，而不交換其數據樣本。
聯邦學習保護隱私方面最重要的三大技術分別是： 差分隱私 ( Differential Privacy )、同態加密 ( Homomorphic Encryption )和 隱私保護集合交集 ( Private Set Intersection )，能夠使多個參與者在不共享數據的情況下建立一個共同的、強大的機器學習模型，從而解決數據隱私、數據安全、數據訪問權限和異構數據的訪問等關鍵問題。
2016年，AlphaGo與圍棋世界冠軍、職業九段棋手李世石進行圍棋人機大戰，以4比1的總比分獲勝。
AlphaGo是一款圍棋人工智能程序，其主要工作原理是“深度學習”，由以下四個主要部分組成：策略網絡（Policy Network）給定當前局面，預測并采樣下一步的走棋；快速走子（Fast rollout）目標和策略網絡一樣，但在適當犧牲走棋質量的條件下，速度要比策略網絡快1000倍；價值網絡（Value Network）估算當前局面的勝率；蒙特卡洛樹搜索（Monte Carlo Tree Search）樹搜索估算每一種走法的勝率。
在2017年更新的AlphaGo Zero，在此前的版本的基礎上，結合了強化學習進行了自我訓練。它在下棋和游戲前完全不知道游戲規則，完全是通過自己的試驗和摸索，洞悉棋局和游戲的規則，形成自己的決策。隨著自我博弈的增加，神經網絡逐漸調整，提升下法勝率。更為厲害的是，隨著訓練的深入，AlphaGo Zero還獨立發現了游戲規則，并走出了新策略，為圍棋這項古老游戲帶來了新的見解。
2017年，中國香港的漢森機器人技術公司（Hanson Robotics）開發的類人機器人索菲亞，是歷史上首個獲得公民身份的一臺機器人。索菲亞看起來就像人類女性，擁有橡膠皮膚，能夠表現出超過62種自然的面部表情。其“大腦”中的算法能夠理解語言、識別面部，并與人進行互動。
這張圖很好地展示了近年來大規模語言模型的發展，并突出了其中的一些最知名的模型。同一分支上的模型具有更緊密的關系。
模型在時間軸上的垂直位置表示它們的發布日期。開源模型表示為實心方形，而閉源模型則用空心方形表示。
這些模型在其訓練策略、模型架構和應用領域上存在差異。為了更清楚地了解LLM的格局，我們將它們分為兩類：僅編碼器或編碼器-解碼器語言模型以及僅解碼器語言模型。在圖1中，我們展示了語言模型的詳細演化過程。從這個進化樹中，我們得到一些有趣的觀察結果：
a）僅解碼器模型逐漸主導了LLM的發展。在LLM發展的早期階段，僅解碼器模型不如僅編碼器和編碼器-解碼器模型受歡迎。然而，在2021年之后，隨著具有改變游戲規則的LLM（例如GPT-3）的引入，僅解碼器模型經歷了顯著的發展。與此同時，在BERT帶來的最初爆炸性增長之后，僅編碼器模型逐漸開始衰落。
b）OpenAI始終在LLM領域保持著領導地位，無論是當前還是未來。其他公司和機構在開發與GPT-3和當前的GPT-4相媲美的模型方面努力迎頭趕上OpenAI。這種領導地位可以歸因于OpenAI對技術道路的堅定承諾，即使最初并不被廣泛認可。
c）Meta在開源LLM方面作出了重要貢獻，并促進了LLM的研究。在考慮到對開源社區的貢獻，特別是與LLM相關的貢獻時，Meta凸顯出作為最慷慨的商業公司之一，因為Meta開發的所有LLM都是開源的。
d）LLM呈現出趨向于封閉源的趨勢。在LLM發展的早期階段（2020年之前），大多數模型都是開源的。然而，隨著GPT-3的引入，公司越來越傾向于封閉其模型，例如PaLM、LaMDA和GPT-4。因此，學術研究人員在LLM訓練上進行實驗變得更加困難。因此，基于API的研究可能會成為學術界主要的方法。
e）編碼器-解碼器模型仍然具有前景，因為這種架構仍在積極探索，而且其中大多數都是開源的。谷歌對開源編碼器-解碼器架構做出了重大貢獻。然而，解碼器模型的靈活性和多功能性似乎使得谷歌對此方向的堅持不太具有前景。
波士頓動力公司（英語：Boston Dynamics）創辦與是一家美國的工程與機器人設計公司，此公司的著名產品包含在國防高等研究計劃署（DARPA）出資下替美國軍方開發的四足機器人：波士頓機械狗，以及DI-Guy，一套用于寫實人類模擬的現成軟件（COTS）。此公司早期曾和美國系統公司一同接受來自美國海軍航空作戰中心訓練處（NAWCTSD）的一份合約，該合約的內容是要以DI-Guy人物的互動式3D電腦模擬，取代海軍飛機彈射任務訓練影片。
該公司由Marc Raibert和其合伙人一起創辦。Marc Raibert是著名的機器人學家。其28歲畢業于MIT，隨后在CMU擔任過副教授，并且在那里建立了CMUleg實驗室研究與機器人有關的控制和視覺處理相關的技術。在37歲時回到MIT的繼續從事機器人相關的科研和教學工作。在1992年，其與合伙人一起創辦了Boston Dynamics這家公司，開啟了機器人研究的新紀元。
波士頓動力公司于 2005 年推出一款四足機器人——big Dog ，它被人們親切地稱為 “大狗”，也正是這款四足機器人讓波士頓動力公司名聲大噪。大狗拋開傳統的輪式或履帶式機器人，轉而研究四足機器人，是因為四足機器人能夠適應更多地形地貌，通過性能更強。同時，在波士頓動力公司發布的宣傳視頻中，Big Dog 在裝載著重物的情況下，仍能對人類從其側面的踢踹做出靈敏的反應，始終保持站立的姿態。
在2013年12月13日，波士頓動力公司被Google收購。2017年6月9日軟銀以不公開的條款收購谷歌母公司Alphabet旗下的波士頓動力公司。
Watson是一種能夠回答自然語言提出的問題的問答計算機系統，由主要研究員David Ferrucci領導的研究小組在IBM的DeepQA項目中開發。Watson以IBM的創始人兼第一任首席執行官工業家Thomas J. Watson的名字命名。
最初開發Watson計算機系統是為了回答測驗節目 Jeopardy！中的問題，并且在2011年參與Jeopardy比賽與與冠軍布拉德·魯特（Brad Rutter）和肯·詹寧斯（Ken Jennings）競爭。最終贏得了勝利贏得一百萬美元的冠軍獎金。
Google的自動駕駛技術開發始于2009年1月17日，一直在在該公司秘密的X實驗室中進行，在2010年10月9日《紐約時報》透露其存在之后，當天晚些時候，谷歌通過正式宣布了自動駕駛汽車計劃。該項目由斯坦福大學人工智能實驗室（SAIL）的前負責人塞巴斯蒂安·特倫（Sebastian Thrun ）和510系統公司和安東尼機器人公司的創始人安東尼·萊萬多夫斯基（Anthony Levandowski）發起。
在Google工作之前，Thrun和包括Dmitri Dolgov，Anthony Levandowski和Mike Montemerlo在內的15位工程師共同為SAIL開展了名為VueTool的數字地圖技術項目。許多團隊成員在2005 DARPA大挑戰賽上見面，Thrun和Levandowski都有團隊競爭自動無人駕駛汽車挑戰。在2007年，Google收購了整個VueTool團隊，以幫助推進Google的街景技術。
作為街景服務開發的一部分，購買了100輛豐田普銳斯，并配備了萊康多夫斯基公司510 Systems開發的Topcon盒，數字地圖硬件。2008年，街景小組啟動了“地面真相”項目，目的是通過從衛星和街景中提取數據來創建準確的路線圖。這為Google的自動駕駛汽車計劃奠定了基礎。
2014年5月下旬，Google展示了其無人駕駛汽車的新原型，該汽車無方向盤，油門踏板或制動踏板，并且100％自治。12月，他們展示了一個功能完備的原型，計劃從2015年初開始在舊金山灣區道路上進行測試。這款車名Firefly，旨在用作實驗平臺和學習，而不是大量生產。
2015年，聯合創始人Anthony Levandowski和CTO Chris Urmson離開了該項目。2015年8月，Google聘用了現代汽車前高管約翰·克拉夫奇克（John Krafcik）作為首席執行官。 2015年秋天，Google向總工程師納撒尼爾·費爾菲爾德（Nathaniel Fairfield）的合法盲人朋友提供了“世界上第一個完全無人駕駛的公共道路上的騎行服務” 。這次乘車之旅由得克薩斯州奧斯汀市圣塔克拉拉谷盲中心的前首席執行官史蒂夫·馬漢（Steve Mahan）乘車。這是公共道路上的第一個完全無人駕駛的汽車。它沒有測試駕駛員或警察護送，也沒有方向盤或地板踏板。截至2015年底，這輛汽車已實現超過100萬英里的自駕里程。
OpenAI，由諸多硅谷大亨聯合建立的人工智能非營利組織。2015年馬斯克與其他硅谷科技大亨進行連續對話后，決定共同創建OpenAI，希望能夠預防人工智能的災難性影響，推動人工智能發揮積極作用。特斯拉電動汽車公司與美國太空技術探索公司SpaceX創始人馬斯克、Y Combinator總裁阿爾特曼、天使投資人彼得·泰爾（Peter Thiel）以及其他硅谷巨頭2014年12月份承諾向OpenAI注資10億美元。
OpenAI的使命是確保通用人工智能 (Artificial General Intelligence, AGI)，即一種高度自主且在大多數具有經濟價值的工作上超越人類的系統，將為全人類帶來福祉。不僅希望直接建造出安全的、符合共同利益的通用人工智能，而且愿意幫助其它研究機構共同建造出這樣的通用人工智能以達成他們的使命。
發展初期：
1943年，美國神經科學家麥卡洛克（Warren McCulloch）和邏輯學家皮茨（Water Pitts）提出神經元的數學模型，這是現代人工智能學科的奠基石之一。
1950年，艾倫·麥席森·圖靈（Alan Mathison Turing）提出“圖靈測試”（測試機器是否能表現出與人無法區分的智能），讓機器產生智能這一想法開始進入人們的視野。
1957年,弗蘭克·羅森布拉特（Frank Rosenblatt）在一臺IBM-704計算機上模擬實現了一種他發明的叫做“感知機”（Perceptron）的神經網絡模型。
1969年，“符號主義”代表人物馬文·明斯基（Marvin Minsky）的著作《感知器》提出對XOR線性不可分的問題
高潮期：
2012年，Hinton和他的學生Alex Krizhevsky設計的AlexNet深度卷積神經網絡模型在ImageNet競賽大獲全勝，標志著深度學習時代的來臨。
2013年，Google的Tomas Mikolov 在《Efficient Estimation of Word Representation in Vector Space》提出經典的 Word2Vec模型用來學習單詞分布式表示。
2014年，Goodfellow及Bengio等人提出生成對抗網絡（Generative Adversarial Network，GAN），被譽為近年來最酷炫的神經網絡。
2018年，谷歌提出了Transformer模型。Transformer憑借其自注意力機制和encoder-decoder架構，在機器翻譯、NLP等任務中取得了顯著成效。隨后的BERT、GPT系列模型更是將Transformer推向了巔峰，引領了自然語言處理領域的變革。
GPU的定位是并行計算芯片，主要是將其中非常復雜的數學和幾何計算抽出，變成一個超高密度、能夠并行計算的方式。最初專用于圖形處理，后漸漸用于高密度通用計算，包括AI計算。
GPU 的發展源于80年代，IBM是GPU理念的創始者，但它并未堅持。所以真正意義上的第一款GPU是英偉達在1999年發布的Geforce 256，并正式提出一個響亮的名字“Graphics Processing Unit”，這就是GPU的來源。
GPU早期是為了用于圖形渲染
GPU早期一般為了3D渲染而設計。從計算機圖形學的角度，GPU將三維事件的點陣通過矩陣變化投影到二維平面上，這個過程叫做光柵化，最終在顯示器上結果。GPU的能力基本上是頂點處理、光柵化、像素處理等，這個過程包含大量的矩陣計算，剛好利用了GPU的并行性。
GPU走向了通用計算
2003年，GPGPU（General Purpose computing on GPU）的概念被首次提出來。GPU不再以圖形的3D加速為唯一目的，而是能夠用于任意并行的通用計算，例如科學計算、數據分析、基因、云游戲、AIGC等。
隨著2007年英偉達推出 CUDA 1.0版本，使其旗下所有 GPU 芯片都適應 CUDA 架構，CUDA生態和價格也是英偉達的最核心競爭力，也是英偉達萬億市值的關鍵因素之一。英偉達投入了一萬以上的工程師在發展這個體系，基本上把人工智能里的大部分場景都做了深度優化。英偉達長期投入CUDA生態建設，為開發者服務，建立好了一系列的開源生態。
AbriefhistoryofAI
轉載自：四張圖片道清AI大模型的發展史(1943-2023)
AI發展歷史
一文讀懂GPU的過去、現在和未來
AI芯片戰爭：英偉達是科技之巔？