寫作應該是各行各業，各種職業都會用到的基礎技能。
雖為基礎技能，但要做好卻不難簡單，想必你一定經歷過深夜論文沒靈感、合作方案寫不出來這些類似的痛苦。如果這個時候能有一個什麼都懂的全能大神指點迷津，或者直接完成，那簡直再好不過了！
最近一位Twitter網友在體驗了一款AI神器後，發現願望竟然真的實現了！
“百科全書式”寫作助手這款AI神器正是Open AI開發的GPT-3自然語言處理模型。簡單來説，GPT-3是一款AI文本生成器，它可以根據上文提示，自動補齊下文。官方説法是，這款GPT-3涵蓋了1750億個參數，遠超GPT-2和其他AI文本生成模型，達到了目前的最佳SOTA，而且其寫作水平能夠與人類媲美。
但是實際效果如何，咱誰也沒用過。可能是出於對產品的自信，兩個月前，OpenAI將這款耗費了1200萬美元的商用GPT-3模型，對外開源了，現在人人皆可拿來作為自己的寫作助手。
最近一位名為Delian的網友在體驗完之後，忍不住在Twitter分享了令他難以置信的使用效果。Delian是家風投公司創始人，他希望GPT-3能在“如何召開有效的董事會會議？”的問題上給出一些建議，因此，他針對這個問題，在GPT-3中輸入了上文：
內容大意是：公司創始人前期打造一支高質量的董事會成員對於公司初期發展至關重要。而大多説創始人沒有意識到這一點。他建議公司在完成A輪融資後就可以開始招募董事會成員，而且招募對象一定好涵蓋公司所在領域的各個方向的專家。另外，他還舉了一個實例進行了論證了這個觀點。
可以看出，上文內容屬於商業運營和投資範疇，若非專業人員很難給出相應的回應。
但是，接下來GTP-3生成的下文讓他非常滿意。（話題涉及主觀看法，暫不論對錯）
以下是翻譯內容：
內容概要：GPT-3首先肯定了穩定高質量的董事會成員對公司發展的價值，然後對如何執行招聘董事會成員的工作給出了具體建議，首先是確定需要招聘的人員清單。
目標清單：從自己身邊的同事或朋友入手，招展人脈資源，確定符合需要的目標人選（大約20-25人）
資格清單：建立人員篩選標準，提出一些專業問題、個人生活問題，根據回答判斷與公司需求的匹配度。
確定好之後，接下來便是召集現有的董事會成員開始招聘工作。在這裏需要保持熱情溝通，呈現公司價值。
對於GPT-3呈現出的結果，Delian表示遠超出了預期。可以看出，首先模型基本理解了上文大意，並且在無其他提示的情況下，給出了非常詳細的意見和建議，雖然並非完全正確，但問題本身也是開放性的問題。同時，下文也基本遵循了上文的格式，如分段和主標題樣式。
另外，經過多項測試後，Delina發現任何領域的專業問題，它都能自動生成相互匹配的下文，比如有關同性戀故事的劇本，行業專家的技術訪談、或者有關選舉的政治話題等統統不在話下。
Delin還把如此強大的GTP-3形容為：
如果iPhone的出現，是將全世界的知識裝進了您的口袋，那麼GPT-3則為你提供了10,000個，能夠與你在任何話題上交流的博士。
聽着非常心動了，每天為文案熬禿頭的朋友們，可以來嘗試體驗一下，為你們奉上開源地址，Github地址：https://github.com/openai/gpt-3
GPT-3：超大模型，無需微調其實，GPT-3的出色性能還不知如此。這個版本的模型是在今年的五月份剛剛被推出，與之前的GPT-2本相比，它在參數上高出了100倍。更重要的是，GPT-3實現了無需微調的最佳SOTA。
一般來説，GPT自然語言模型工作分為上游預訓練和下游特定任務兩個主要階段。無需微調，意味着在經過大型語料庫的預訓練後，GPT-3在處理諸如語言翻譯、完型填空、文本生成等常見NLP任務時，無需針對下游任務作出特殊處理。
同時，它也意味着其處理任務的性能表現，主要取決於它的預訓練過程。
首先從預訓練階段的模型大小來看，從論文中的數據顯示，在經過幾項簡單的任務訓練（刪除文本中的隨機符號）後，模型越大學習曲線越陡峭，而越是陡峭，代表學習性能越強。因此，可以説下游任務的學習能力主要由模型大小決定。
在GPT-3中的模型和體系架構與GPT-2基本一致，包括其中描述的修改後的初始化，預規範化和可逆記號化，不同之處在於，在GPT-3各層中使用了Sparse Transformer架構 。同時，研究人員訓練了8種不同大小的模型，範圍從1.25億個參數到1,750億個參數，三個數量級。最後一個為“GPT-3”。
可以看出，模型越大，它在可訓練總數、層級數、學習比率方面的表現越高。
另外，從語料庫來講，模型越大越需要大的語料庫作為支撐，GPT-3採用的數據集（Common Crawl）包含了近一萬億個單詞。
CommonCrawl數據是從2016年到2019年，每個月的CommonCrawl的41個分片中下載的，構成了過濾前的45TB壓縮明文和過濾後的570GB，大致相當於4000億字節。
請注意，在訓練過程中，並非按大小對數據集進行採樣，而是較高質量的數據集採樣頻率更高，因此，在訓練過程中CommonCrawl和Books2數據集採樣的次數少於一次，而其他數據集則採樣了2 -3次。這本質上是接受了少量的過度擬合，換取了更高質量的訓練數據。
因此，基於超大模型和與數據庫的GPT-3在預訓練階段能夠表現出極好的性能。
存在一定的侷限性
不過，從此前的測試中，我們也可以看出GPT-3的文本生成還是存在一些侷限性的。具體我們可以從Q&A;問答中來看一下。對於常識性性問題，GPT-3還是非常擅長的。如，
GPT-3自身的學習經驗主要是從網上抓取，因此在回答一些常識性問題時，它可以從網上找到準確的對應答案。但在處理對於一些“不言而喻”的問題時，它就可以出現錯誤，比如下文：
Q：烤麪包機和鉛筆哪一個較重？
A：鉛筆比烤麪包機重。
雖然在這些問題上存在缺陷，不過，GPT-2在處理一些邏輯性問題，或者閲歷理解任務時，幾乎可以達到人類的水平。因此，在很多方面可以作為人類很好的輔助工具。
相關鏈接：雷鋒網雷鋒網雷鋒網
論文地址：https://arxiv.org/abs/2005.14165
https://delian.substack.com/p/quick-thoughts-on-gpt3
https://lambdalabs.com/blog/demystifying-gpt-3/