出品| 虎嗅科技組
作者| 張雪
封面| 視覺中國
AI領域好久沒有因為一項新技術而變得熱鬧了。
在人們當下的認知裏，AI早已被“神化”，變得無所不能，似乎沒有什麼新功能能夠讓人驚掉下巴，大呼“不可思議”。
然而，在這個同樣被魔幻化的2020年，一項再次震驚業內的AI新技術出現了，它就是—GPT-3，簡單理解就是文本生成器，旨在從起始輸入開始生成單詞，代碼或其他數據的序列。目前，GPT-3可以寫富有創意的小説，可以生成功能代碼，也可以做數學上的加減法。
那麼這個GPT-3究竟厲害在何處，會不會又是個曇花一現的新噱頭？抱着這些疑問，虎嗅翻看了由31位作者寫的72頁論文，以期發現晦澀專業術語掩蓋下的GPT-3的魅力之處。
帶着光環出生
在談到GPT-3這項技術之前，不妨先來看看其背景。
GPT-3是由人工智能組織OpenAI開發的語言。該組織成立於2015年成立，旨在更安全地使用人工智能，防止人工智能去毀滅世界，是一家非盈利組織。其聯合創始人包括特斯拉CEO馬斯克、著名孵化器 Y Combinator 前 CEO 山姆·奧特曼以及著名投資人彼得·蒂爾等。
起初，在2015年，OpenAI的啓動資金為10億美元，但在研發AI模型的過程中，OpenAI承受的經濟壓力也越來越大的經濟，2018年，在不同意公司的發展方向後，馬斯克於2018年離開了OpenAI。
沒過多久，OpenAI開始轉變為盈利性公司，之後還獲得了微軟10億美元的投資。據悉，這次OpenAI的API服務就與微軟注資和Azure的技術支持密不可分。目前微軟成為了OpenAI的獨家雲供應商，同時 OpenAI 也會和微軟合作開發 Azure AI 超級計算技術，並授權微軟使用其部分技術進行商業化。
值得一提的是，此前NLP（自然語言處理）並不是Open AI最為關注的領域，不過他們在自然語言處理方面成果一直是業內關注的重點。
按照常理，GPT-3之前已經有了GPT和GPT-2。查閲資料，可以發現GPT和GPT-2分別在2018年和2019年2月由OpenAI發佈。
具體來看， GPT是Generative Pre-training Transformer的簡稱，是由Alec Radford編寫的語言模型，它採用了生成式語言模型（兩個神經網絡通過競爭相互完善），通過對不同的書面材料集與長篇連載文本的預訓練，能夠獲取世界知識並處理長程依賴關係。
GPT-2是一個無監督的轉化語言模型，該模型以40GB文本進行了訓練，適合識別附近的單詞，用於自我思考，使專家能夠創作出極具説服力和連貫性的作品。
比如有人使用GPT-2 來重寫《權利的遊戲》的結局，並得到了大多數網友的認可，“AI改寫的新結局比電視劇的版本要好”。
據報道，馬斯克並不願意發佈GPT-2，因為他擔心它可能被用來向社交網絡發送假新聞，因此，OpenAI選擇不公佈完整的GPT-2模型。正是如此，行業內還曾質疑這是出於對自家產品的過於自信，甚至還被懷疑是一種炒作説法。
不管怎樣，可以肯定在GPT-2的發佈與應用已經達到了出圈的效果。而GPT-3主要目標是在GPT-2的基礎上用更少的領域數據、且不經過精調步驟去解決問題。
所以承載着滿滿期待的GPT-3一經面世就備受矚目，還需要指出的是，GPT-3的 API服務也是Open AI第一個商業化的項目，同樣也肩負着營收的重擔。
突破和延續
外行人看熱鬧，內行人看門道。
關於對GPT-3的評價，業內也是褒貶不一，有人説它是跟新冠病毒一樣，是來消滅人類的；有人説它是繼比特幣之後，又一個顛覆性的新技術。一個事實是，文本生成器早在幾年前就已經出現了，甚至還曾被報道稱，要取代文字工作者，而現在除了少部分企業應用之外，其存在感着實平平。
雖然這些日子，GPT-3因其在有限輸入下可實現令人難以置信的事情而成為頭條新聞，並引起廣泛的討論，但在內行人看來，其只是在模型參數上邁出了一大步，而這還沒有GPT-2帶來的突破大。
毋庸置疑，它是有史以來功能最強大的語言模型，這主要歸功於擁有1750億個模型參數，它的算力特別大，訓練這樣一個模型大約要花費1200 萬美金。相比之下，它的前身模型GPT-2只有15億個參數。
更為形象一點，據知乎網友@TechOnly，人類大腦擁有1000億個神經細胞(百度百科)，而在人長大的過程中，神經細胞數量沒有增加，而是神經連接複雜度在增加，説明GPT3的內部網絡結構設計和訓練策略有很大提升空間，而GPT3 1700億的參數的存儲也許夠了，感覺未來五年到十年NLP還會有巨大突破性發展。
可怕的是，從某種程度上來説，人類尚不清楚GPT-3到底有多大的能耐。
此外，GPT-3主要聚焦於更通用的NLP模型，研究者們希望 GPT-3 能夠解決當前 BERT 等模型的兩個不足之處：對領域內有標記數據的過分依賴以及對於領域數據分佈的過擬合。
當GPT-3拋開華麗的參數外表，在本質上，其技術架構上的突破是微乎其微的，更多是是延續了GPT-2的單向語言模型訓練方式，而GPT-2 則展示了一種對語言的全新理解方式。
對此，一位GPT-2 的熱心用户還發表文章稱：“GPT-3是一個令人失望的語言模型”，文章指出：
把它叫做“GPT-3”很礙眼，而且會誤導人。GPT-2（可以説）是一項開創性的進步，因為它第一次向人們展示了大規模的 transformer 擁有多大的力量。所以GPT-3 完全稱不上什麼本質上的進步，甚至在新的基準測試SuperGLUE上表現都不怎麼樣，它也就相當於把人的右手綁背後還能勉強畫一幅畫的水平。
硬幣的兩面
除了外界的熱議，OpenAI在GPT -3身上也有着猶豫和糾結，畢竟講好商業故事，某種程度上會犧牲部分情懷。
一方面，可以預見GPT -3給AI行業，乃至整個社會帶來的改變被看做是顛覆性的，它涉及到倫理，偏見，種族歧視等諸多因素，而OpenAI的初衷是為了讓人們更安全地使用AI，而現在或多或少，GPT -3與這個初衷相悖了。
ZeroCrater的創始人兼企業家Arram Sabeti在一篇博客文章中寫道：“它比我嘗試過的任何AI語言系統都更加連貫。GPT -3：一種非常擅長編寫幾乎任何東西的AI。”
“你所要做的就是編寫一個提示，並添加可能認為會跟進的文本。我已經寫了歌，故事，新聞稿，吉他譜，訪談，論文，技術手冊。這很有趣而且令人恐懼。我覺得我已經看到了未來。”
在GPT-3論文中，研究者還表明GPT-3可以生成人工評估人員難以區分的合成新聞文章，而這種“以假亂真”無形之中就會助長假新聞、欺詐、水軍等現象。
另外早在今年4月30日，通訊軟件sendblue的員工尼基塔.傑休（Nikita Jerschow）就在社交媒體上發帖稱，他讓2個GPT-3的AI辯論股票市場，結果AI竟然談論起了人類的侷限性，讓人不寒而慄。
説實話，即便如此，這些常規的文本操作在業內人眼裏也並不值得一提，因為文本生成早已是司空見慣的事情，以至於我在一個月前體驗GPT-3的文本生成功能時，因為沒有看到驚喜，所以草草地就關了頁面。
除了這些常規項目，GPT-3在代碼編程領域帶來的改變才算得上是驚人。GPT-3經過了整個互聯網數千億個單詞的訓練，它能夠使用CSS、JSX、Python等任何一種語言編程。
舉例來講，一位從業者編寫了一個佈局生成器，用户使用純文本來描述他們所需要的內容，然後模型生成相應的代碼。
另一方面，OpenAI期望投入如此巨大的GPT -3能夠在營收，甚至盈利上帶來回報，但現在商用模式，產品定價等等都不算明確，還被外界調侃為“擠牙膏”。
作為OpenAI 的首款商用產品，目前該文本生成 API 正在分發早期版本，以便開發人員和商人可以測試該程序併為潛在的購買者發現其用例，售價也不得而知。
不過官網顯示，目前為止，OpenAI已經與十幾家公司合作，其中包括搜索服務提供商 Algolia、精神健康平台 Koko、Replika、以及社交媒體平台 Reddit等等。
以至於，為什麼OpenAI選擇發佈API而不是開源模型？OpenAI官方表示三個主要原因：
首先，將技術商業化有助於為正在進行的AI研究、安全和政策工作付費。
其次，API的許多基礎模型非常龐大，需要大量的專業知識來進行開發和部署，並且運行起來非常昂貴，這使得除了大公司以外的任何人都很難從基礎技術中受益 。
第三，API模型可以更輕鬆地應對技術濫用。由於很難預測我們模型的下游用例，因此通過API釋放它們並隨着時間的推移擴展訪問範圍。
不可否認，即使是OpenAI亮出的GPT -3也將面臨着AI領域落地難的普遍問題。
對於GPT -3的盈利前景，知乎網友@Dr.Wu表示，“GPT-3可能還是無法幫助OpenAI盈利，也無法直接上線顯著造福網民，但是從中積累的大模型訓練經驗是OpenAI和他背後的微軟Azure一筆巨大的財富。這就像，人類登上火星/月球可能並不能帶來直接的資源收益，但是從中積累的科學技術卻可以推動人類社會的發展。”
我是本文作者張雪，關注5G、雲計算、人工智能，微信：zhangxue-0929，歡迎行業人士聊天爆料（加微信備註身份）
正在改變與想要改變世界的人，都在 虎嗅APP