致敬流浪地球?復旦發佈國內首個類ChatGPT模型MOSS
【CNMO新聞】2月20日晚,據復旦大學自然語言處理實驗室消息,國內第一個對話式大型語言模型MOSS已由邱錫鵬教授團隊發佈至公開平台,邀公眾參與內測。
據瞭解,MOSS可執行對話生成、編程、事實問答等一系列任務,打通了讓生成式語言模型理解人類意圖並具有對話能力的全部技術路徑。這條路徑的走通,為國內學術界和產業界提供了重要經驗,將助力大語言模型的進一步探索和應用。
《流浪地球》系列電影中的量子計算機MOSS
MOSS和ChatGPT一樣,開發的過程也包括自然語言模型的基座訓練、理解人類意圖的對話能力訓練兩個階段。不同之處在於,復旦團隊採用了不同的技術路線,通過讓MOSS和人類以及其他對話模型都進行交互,顯著提升了學習效率和研發效率,短時間內就高效完成了對話能力訓練。
相關報道
不過,邱錫鵬坦言:“MOSS與ChatGPT的差距主要在自然語言模型基座預訓練這個階段。MOSS的參數量比ChatGPT小一個數量級,在任務完成度和知識儲備量上,還有很大提升空間。”
他還表示:“儘管MOSS還有很大改善空間,但它的問世證明了在開發類ChatGPT產品的路上,國內科研團隊有能力克服技術上的重要挑戰。”
有趣的是,復旦大學團隊開發的這個對話式大型語言模型的名字剛好和《流浪地球》系列電影中的人工智能550W量子計算機MOSS重名,後者是領航員空間站的核心智能主機,具有自我意識、自我迭代、自我更新的特點,也是流浪地球計劃與火種計劃的監督者和執行者。復旦大學團隊如此命名,不知道是在致敬還是巧合。