比「GPT 偵探」更重要的是，AI 生成內容在不同行業的「容忍度」。
作者 | 美漪
編輯 | 靖宇最近兩個月，科技圈最熱的話題，無疑是 OpenAI 推出的對話式 AI 應用 ChatGPT，不僅可以讓它給你寫一首詩、回答你的任何問題，甚至可以讓它幫忙寫沒那麼複雜的程式碼。業內甚至認為，ChatGPT 甚至有取代谷歌的潛力。
為 ChatGPT 歡呼的還有另一群人，就是「社畜」和學生——他們發現月度總結、學校論文和作業這樣的任務，也可以讓 ChatGPT 代勞了，後者甚至寫得有模有樣，不比真人寫得差多少。
ChatGPT 似乎讓學生們的日子更輕鬆了，但卻讓教師更「頭疼」了，因為後者很難確認，眼前這些文字，到底是學生寫的，還是出自 OpenAI 的產品之手。為此，紐約教育部甚至禁止公立學校使用 ChatGPT。
在這樣的混亂中，一位普林斯頓大學的學生，Edward Tian 推出了一個專殺 ChatGPT 的應用——「GPTZero」，有了這面「照妖鏡」，內容是人寫的，還是機器寫的，真相馬上就揭曉。
「GPTZero」在網路迅速爆紅，吸引了 a16z 在內的矽谷創投的目光。但是應用創造者本人 Tian 卻認為，最重要的事，是「讓 AI 更加透明」。
01
「ChatGPT 殺手」
在 ChatGPT 成為學生們「偷懶」的神器後，教育和科研機構不得不開始抵制這個新的噩夢。
紐約教育部宣佈禁止學生在公立學校使用 ChatGPT ；全球知名機器學習會議之一的 ICML 也宣佈禁止發表包含由 ChatGPT 和其他類似系統生成內容的論文，以免出現「意外後果」。
出於對學術界，使用 ChatGPT 相關道德問題的擔憂，華人小哥 Edward Tian 在一家當地的咖啡店裡，花了一個寒假的時間，研發了 GPTZero，希望能讓學術界恢復嚴謹性。
Tian 年僅 22 歲，目前仍是美國普林斯頓大學的大四學生，主修計算機科學專業，專門研究自然語言處理，同時輔修認知科學和新聞學。
GPTZero 的開發者 Edward Tian｜網路
他還曾是英國廣播公司和開源情報網站 Bellingcat 的研究員，也曾是被微軟收購的反恐初創公司 Miburo Solutions 的分析師。在那裡，他監測虛假資訊和機器人檢測。Tian 說，「所有的這些經歷，都是他研發 GPTZero 的動力」。
2023 年 1 月 2 日，Tian 將 GPTZero 釋出到網路，預計只會有幾十個人嘗試它，完全沒有想過，這會掀起一場世界級別的軒然大波。
在他把這款軟體上傳到網際網路上的幾個小時內，竟有超過 2000 人在 Steamlit 上測試了 GPTZero 的公開版本。
1 月 5 日，也就是釋出的第三天，Tian 對 GPTZero 做出了更新和改善，還顯著降低了誤報率；此時，新程式已有超過 1 萬的使用者量了！Tian 也不禁對它的「爆炸性增長」和「病毒式傳播」感到震驚。
據 NPR 報道，一週內有 3 萬多人試用了 GPTZero，甚至「導致該應用由於出乎意料的高網路流量」而崩潰，託管 GPTZero 的免費平臺 Streamlit 此後介入，以更多的記憶體和資源支援 Tian，以處理網路流量。
Edward Tian 透過在影片中展示其對一篇《紐約客》文章和 LinkedIn 上的 ChatGPT 生成器的帖子的分析，展示了該應用如何區分人類和人工智慧撰寫的文字。
GPT Zero 的工作原理就是檢測文字的「困惑性」（Perplexity）和「突發性」（Burstiness）這兩項指標，並分別對其打分，根據統計學特徵來確定，文字是由人工智慧寫的還是人類寫的。總體來說，如果這兩項引數得分都很低，那麼該文字很有可能出自 AI 之手。
這裡所說的「困惑性」，是指來自人類所寫作品的語言的複雜性和隨機性。
這個指標主要是衡量文字在一個句子中的隨機程度，以及一個句子的構造方式是否會讓 GPTZero 感到困惑。
每當使用者在 GPTZero 輸入一段測試內容，它就會分別計算出：「文字總困惑度」、「所有句子的平均困惑度」、「每個句子的困惑度」。
這些數值越低，越能說明這個文字對 GPTZero 來說是非常「熟悉」的，那麼它很可能是 AI 生成的；相反，如果這些數值越高，就越能說明文字中句子的構造或用詞方式讓 GPTZero 感到「驚訝」，那麼它就更可能是出自人類之手。
這是因為，人工智慧接受過資料庫的訓練，生成的文字在一段時間內，表現出的困惑度會更均勻和恆定，選詞的可預測性也更高；而人類書寫的文字則不會這樣，真人的遣詞造句一般會比較隨機，比機器更容易寫比較出乎意料的詞句。
使用 GPTZero 檢測文字是否由 ChatGPT 生成｜Twitter
而「突發性」，則是指來自人類使用的句子結構的變化。
這個引數主要是比較句子複雜性的變化程度，衡量它們的一致性。
這是因為，人類傾向於寫高度複雜的文字；而人工智慧產出的文字則是低複雜度的；此外，由於人類的思維結構不是線性的，他們的句子結構也遵循類似的模式。
這意味著，人類使用句子結構，會在長而複雜的句子，和短而簡單的句子之間搖擺不定，有著更多的句式變化，比如複雜和簡單交替並存，一個長難句之後接著出現更簡短的句子；而機器生成的句子則傾向於更加統一，很少會有一系列長度相差很大的句子。
簡而言之，在選詞上「簡單」而「熟悉」，並使用「統一整齊」的句子，是人工智慧生成作品的標誌特徵，而更復雜和多樣的東西，則表明是人類寫的。這也是「困惑性」和「突發性」這兩項指標可以作為衡量標準的原因。
除了 Edward Tian 本人對 GPTZero 進行測試之外，也有不少網友用它對 ChatGPT、一些 GPT-3 衍生工具生成的內容進行了多次測試。最終結果顯示，GPTZero 每次都能抓住 AI 生成的文字，並在十多個案例中正確識別了人類寫的文字。
GPTZero 的一炮而紅，讓 Tian 獲得了來自 a16z、 Menlo Ventures 和 Red Swan 等知名風投的青睞。不過，面對推特私信和電話轟炸，Tian 卻顯得異常冷靜，他謙遜地表示自己不會拒接投資者打來的電話，但他不會忘記自己仍然是一位即將畢業的大四學生。
同時，他還表示自己的 GPTZero 尚未完成，仍需改進和進一步地開發，甚至計劃讓大家繼續免費使用他的程式，用來支援各地新晉英文老師的工作。
02
急需的「AI 透明」
對於 GPTZero 這一甄別文字是否是 AI 寫作的新程式，推特上的輿論褒貶不一，以教師為代表的成年人大多喜聞樂見，而學生卻諷刺 GPTZero 的創造者 Tian 是「學術緝毒警察」。
的確，當 GPTZero 推出時，Tian 收到了眾多教師對該應用程式在檢測 AI 寫的文章方面的積極反饋，來自世界各地的無數教師也都對 Tian 表達了他們的感激之情——這讓他們的教學難度大大減輕了。
當然，也不難理解，不少學生並不看好 Tian 這款打擊學術偷工減料、不勞而獲的軟體。
事實上，不只是 Tian，就連 ChatGPT 的開發商 OpenAI 自己，也已經表明了對防止人工智慧剽竊的承諾。
2022 年 12 月，OpenAI 專注於人工智慧安全的研究員 Scott Aaronson 透露，該公司正在努力開發「緩解措施」，用一種「不易察覺的秘密訊號」對 GPT 生成的文字打上「水印」，以識別其來源，從而打擊作弊的系統。
這項技術將透過微妙地調整 ChatGPT 選擇的特定單詞選擇來發揮作用，讀者不會注意到這種方式，但對於任何尋找機器生成文字跡象的人來說，這在統計上都是可預測的。
公司發言人表示，「我們將 ChatGPT 作為新研究的預覽技術，希望能從現實世界的應用中進行學習。我們認為這是開發和部署功能強大、安全的 AI 系統的關鍵部分。我們會不斷吸取反饋和經驗教訓，」。
GPTZero 首頁｜GPTZero
此外，OpenAI 還聯合哈佛等高校機構聯合打造了一款檢測器：GPT-2 Output Detector。
作者們先是釋出了一個「GPT-2 生成內容」和 WebText 資料集，幫助 AI 理解機器語言和人類語言之間的差異。
隨後，用這個資料集對 RoBERTa 模型進行微調，就得到了這個 AI 檢測器。其中人類語言一律被識別為 True，AI 生成的內容則一律被識別為 Fake。
值得一提的是，RoBERTa 是 BERT 的改進版。原始的 BERT 使用了 13GB 大小的資料集，但 RoBERTa 使用了包含 6300 萬條英文新聞的 160GB 資料集。
儘管如此，還是有不少人認為，「AI 文字檢測器」註定是一場失敗的「軍備競賽」，其實際效果並不理想，更無法阻擋 ChatGPT 等 AI 語言模型的發展。
然而，儘管 Tian 建立了 GPTZero，他並不反對使用 ChatGPT 等人工智慧工具，他認為 GPTZero 應用程式的目的不是阻止這些新技術的使用，而是提供一種負責任地使用這些技術的方法，並提供必要的保護。
同時，相對於對抗或者禁止一項技術，也許更重要的是如何為其使用定下規範和標準。例如，在廣告、影視及娛樂等行業，對於 AI 生成類內容的容忍度可能適當提高一些；而在學術、教育和科研領域，非常強調準確性和原創性，毫無疑問，對於 AI 生成內容的容忍度就要低一些。
而如何確定 AI 工具使用的「透明度」，可能要比研究如何「反 AI」，要更有效，也更有意義一些。
本文為極客公園原創文章，轉載請聯絡極客君微信 geekparkGO
極客一問
你對 AI 生成內容
的容忍度有多少？
