SwitchTransformer新聞

首個萬億級模型！Google重磅推出語言模型Switch Transformers，1.6萬億參數秒殺GPT-3

眾所周知，參數量是機器學習算法的關鍵。在大規模參數量和數據集的支持下，簡單的體系結構將遠遠超過複雜的算法。在自然語言領域，被稱為史上最強NLP的GPT-3擁有1750億參數。近日，Google將這一參