有没有可能,其实某些人工智能的实例并不像我们想象的那么智能?
一组计算机研究生报告称,在对几十种被誉为人工研究里程碑的信息检索算法进行了更深入的研究之后,他们发现这些算法实际上远没有它们宣称的那样具有革命性。事实上,在这些算法中使用的人工智能通常只是对之前建立的例程进行了微小的调整而已。
麻省理工学院的研究生研究员Davis Blalock说,在他的团队检验了81种开发神经网络的方法(这些方法被普遍认为优于早期的研究成果)之后,他们并不能确定这些方法是否真的取得了任何进步。
Blalock说,“已经有50份文件了,很明显,甚至连最先进的技术是什么都不清楚。”
过去的十年中,人工智能进步的大部分功劳都在于硬件的改善,比如图形处理器、计算机处理单元、相机等硬件的进步,这些硬件进步使得复杂搜索项目、面部识别、摄影、语言翻译、语音识别等项目可以以指数形式增长,并使可视化虚拟现实游戏取得了突破。
当然,算法的改进对此也有帮助,但麻省理工学院的研究小组表示,至少人工智能算法的某些进步是虚假的。
例如,他们发现,只要对此前建立的人工智能算法做一些小的调整,旧的程序本质上就可以像被高度吹捧的“新改进”程序一样工作。在一些情况下,新的人工智能模型实际上还不如旧的方法。
《科学》杂志上的一篇文章对该研究进行了评估,文章引用了一项元分析,直到2019年,该元分析对搜索引擎使用的信息检索算法进行了长达10年的分析,分析发现“高分实际上是在2009年设定的。”另一项对流媒体服务使用的神经网络推荐系统的研究发现,在使用的7个程序中,有6个没有改进多年前设计的简单算法。
Blalock指出,由于比较算法的技术存在不一致性,使得一种方法优于另一种方法的说法的准确性还有待商榷。
事实上,麻省理工学院(MIT)的一位计算机科学家表示,过去10年人工智能某些领域明显缺乏重大进展,很大程度上要归咎于无法恰当地比较和评估那些相互竞争的方法。Blalock的博士导师约翰·古塔格(John Guttag)说,“这是老生常谈了对吧?如果你无法衡量某件事,就很难让它变得更好。”
卡内基梅隆大学(Carnegie Mellon University)的计算机科学家济科科尔特(Zico Kolter)推测,将自己的名字与一种新算法联系起来,比仅仅修补和调整旧的方法有更大的动机和社会回报。
他研究了图像识别模型,这些模型被编程用来抵御黑客的对抗性攻击,这种攻击会使用经过巧妙修改的代码来绕过系统安全。对此一种被称为投影梯度下降(PGD, projected gradient descent)的早期方法会通过训练人工智能系统来区分代码的真实和虚假示例来抵御这种攻击,人们曾经认为这是一种可靠的方法,但这种方法被更新更好的协议绕过了。然而,科尔特的研究小组发现,对旧的PGD方法进行简单的调整后,它的有效性与新方法相比可谓旗鼓相当。
科尔特说:“很明显,PGD实际上就是正确的算法,这是显而易见的,人们只是希望找到更繁琐的解决方案。”