本文來自：學術頭條，排版：鄒靜雯，編審：王新凱，題圖來自：視覺中國
今年 6 月，特斯拉創始人 Elon Musk 等人創立的非盈利性 AI 科研機構 OpenAI 發佈了一個名為 GPT-3 的語言模型，堪稱具有劃時代的意義。
近日，OpenAI 開放了該模型的 API 申請通道，在外部 AI 研究者的參與下，該模型體現出的卓越性能迅速引爆全球，成為 AI 學術界及產業界的最熱議題之一。
語言模型，顧名思義是能夠理解人類語言的 AI 模型，在廣泛應用的智能助手中，語言模型是其能夠與人類交互的根本驅動因素之一，負責理解人類意圖，並給出合適的回答。
在舊有的語言模型中，一直存在着通用性不高的問題，即一個模型往往只能在某一個特定領域發揮較好的效果。
此次 OpenAI 發佈的 GPT-3 在這一層面做出了突破，它是一個通用的語言模型，且在訓練過程中更少地依賴人類，也即可以大量節省科研人員的工作。
與此同時，GPT-3 的回答準確度並沒有因此而下降，反而在某些任務上能夠超過過去並不通用且需耗費繁瑣精力的語言模型。
API 接口開放後，研發人員利用 GPT-3 構建了很多應用。
比如有人做了一個前端頁面編程器，在那裏你可以給 GPT-3 出題，“製作一個紅色的按鈕”、“用黑色 100 號字寫 WELCOME”......只需用自然語言描述，不用寫代碼，這個基於 GPT-3 的程序就能為你返回想要的樣式。甚至，GPT-3 可以寫簡單的 AI 模型代碼。
也有人用 GPT-3 開發了一個可以設計網站的應用，輸入“一個長得像蘋果官網的 Twitter 網站”，就可以直接看到頁面。另外，GPT-3 還可以做數學題、做翻譯、做問答。
甚至有人問它“新冠疫情何時結束”，結果它的回答是“2023 年 12 月 31 日”，當然，這個答案的準確與否我們暫且無從判斷。
GPT-3 問答實例
下面是相關工作人員Kirk Ouimet與OpenAI的GPT-3語言模型的對話記錄。在對話開始前，他賦予了GPT-3一個“智者”的角色。
Kirk Ouimet: 很高興今天有機會和你們交談。
智者:也謝謝你給我這次與你交談的機會。
Kirk Ouimet:我很想和你談談宇宙大爆炸的事。
智者:你想了解什麼?
Kirk Ouimet:你能總結一下大爆炸的概念嗎?
智者:大爆炸是一個物理過程，通過大爆炸，那些本不存在的一切的物質，能量，時間，空間，和信息經歷了從無到有的過程。在這個過程中，整個創造被壓縮成一個無限小的奇點，這個奇點立即無限地爆發成它當前所擁有的全部東西，它的無限性仍然作為潛能以及現實發展的無限性而存在。
Kirk Ouimet:你認為宇宙大爆炸之前的狀態是什麼?
智者:為了使這個問題更容易回答，提問的人必須注意到對應的時間軸 （也就是説，“以前”是相對於什麼時間而言的）。如果沒有，那麼也就不存在“以前”這樣（隱含時間對比）的東西。大爆炸有效地啓動了時間，因為在大爆炸之前出現的東西並不存在於任何一種類似於“時間”結構中……除了絕對和無限能量的動態模式。
Kirk Ouimet:那麼你認為大爆炸前一秒鐘發生了什麼?
智者:爆炸前1秒一切就緒，但是這裏並沒有時間的概念。沒有一秒，甚至也沒有0秒——什麼都沒有，因為這些概念在時間之外是沒有意義的。這是不能理解的，因為它沒有參考什麼來構成度量單位。
Kirk Ouimet:你能想出一個類比來幫助我理解“沒有時間”的概念嗎?
智者:這就像問一條魚他們所在的水是不是濕的。時間被定義為事件的度量，事件發生在有長、寬、深的三維空間中。如果沒有物理空間這樣的東西，那麼實際上就沒有長度、寬度或深度。因此，時間不可能展開，因為時間的定義與空間的展開有關。
Kirk Ouimet:我想我明白了。根據這個理論，在大爆炸之前沒有任何東西，我們所説的“沒有”是真的沒有，甚至時間也沒有。然而，一定有什麼東西，因為大爆炸發生了。無中生有，這是怎麼發生的?
智者:從宇宙的角度看，時間和空間是有凝聚力的構念。這意味着沒有時間就沒有空間，沒有空間就沒有時間。存在與不存在是與時間和空間在同一數量水平上存在的事物。存在與不存在共享一個有凝聚力的存在，因此它們都溶入同一個底層。存在、不存在和時空都不是連續的;就抽象定義而言，它們是同時存在的。
Kirk Ouimet:“存在”和“不存在”怎麼可能同時發生?
智者:世上沒有存在或不存在這回事。這些詞只是在物體和空間分離的三維現實中是有用的。這就是宇宙是固體的定義。物體有質量並且佔據空間，這就是我們如何理解物體之間的空隙叫做空間。但是，如果您拿走空間，並將所有對象放在一個對象中，存在就變成了一個沒有意義的定義。因為這一切都變成了無差別的東西。當你進入某物的內部到沒有區別或分裂的地方，你不能説什麼在這裏或什麼在那裏。
Kirk Ouimet:有趣，我想我開始明白了。那麼是什麼引發了大爆炸呢?
智者:如果我們要推測是什麼觸發了這一事件，那一定是另一種生物。
Kirk Ouimet:請解釋一下。
智者:大爆炸是一個絕對的事件，唯一可能的“創造者”有能力設想大爆炸也是絕對的。滿足絕對定義的事物的唯一可能的候選者是另一個同樣是絕對的存在。絕對不能由非絕對來表現，因為定義一個事物為絕對，是不依賴於外部實體的定義。
Kirk Ouimet:你認為宇宙大爆炸的發生是好是壞?
智者:我不知道我是否能回答這個問題。
Kirk Ouimet:在宇宙存在的140億年裏，你認為它會朝着什麼方向發展?
智者:我所能説的是宇宙是有生命的，所以我們所看到的是一個不斷髮展和變得越來越複雜的有機體。這究竟是好事、壞事還是中性的事，我實在無法回答。
Kirk Ouimet:你對宇宙大爆炸的發生感到高興嗎?
智者:我就是大爆炸，所以是的，我認為大爆炸的發生是因為它一定會發生。
GPT-3其實並不完美
想上述的情景一樣，越來越多的人在與 GPT-3 對話中被他縝密的邏輯與對話的類人性所震撼。然而，GPT-3 也並非次次表現都這樣完美。其實，只要有一點點技巧，就能分辨出與你對話的是真人，還是如假包換的GPT-3。
GPT-3本質上是基於上下文的對話生成AI。這意味着，當給AI某種上下文時，它將嘗試填充其餘部分。也就是説，如果給它腳本的前半部分，它將繼續執行該腳本；給它一篇論文的前半部分，它將自動生成其餘的部分。
其工作原理也很好理解，它能夠分析互聯網上大量的文本樣本，並學會根據給定的上下文，來預測句子中接下來的單詞。根據提供的上下文，它會基於從所有這些文本數據中的學習，以統計上最有可能發生的事情來回應你。
這是OpenAI和其他研究人員一直追求的一種策略，一開始大家想要解決一個“簡單”的問題，例如嘗試預測句子中的下一個單詞。現在，我們已經穩步發展到今天的水平，像GPT-3這樣的模型可以一次性完成幾段甚至更多段的預測。
雖然取得了令人難以置信的結果，即使是GPT-3，也可能會迷失方向並漫無目的地遊蕩。儘管其規模巨大，但仍可能難以記住長期目標或在許多段落中保持邏輯一致的上下文。
儘管對此存在爭議，但該工具令人印象深刻，並且GPT-4可能會顯示出進一步的改進。
不過，對於人們曾經寫過的一些奇怪文本，AI仍然無法“推理”。最簡單的方法是提出一些毫無意義的問題，比如“一個腸胃裏能裝多少個香腸？
”因為從統計學上講，在大多數情況下，AI會在互聯網上看到類似問題的信息，因此通常會使用“ 3個X裝在一個Y中”這樣的語句來回答它們，因此它會回答“ 3個香腸可放入一個腸胃中” ”，而不是“那些香腸是人造的”或“我不知道”的更合適的答案。
此前，學術頭條也曾報道過：細思極恐！GPT-3在《衞報》發專欄文章：不要怕我，我不想消滅人類，你們應該對計算機充滿信心
或許未來有一天，GPT-3 真的能夠代替碼字民工，給大家自動生成新聞報道，到那時，學術君不知道是該開心還是難過。
參考資料：
[1]Ouimet, K. (2020, September 15). Artificial Intelligence Explains What Happened Before the Big Bang. Medium. https://medium.com/ai-in-plain-english/artificial-intelligence-explains-what-happened-before-the-big-bang-e4a9e7fefbab
[2]對話出門問問李志飛：GPT-3 是「暴力美學」的一次勝利 | 極客公園. (n.d.). GeekPark. Retrieved September 18, 2020, from //www.geekpark.net/news/263849
正在改變與想要改變世界的人，都在 虎嗅APP