ChatGPT能出天际?不,“全知”机器就是一种幻想

图片
作者 | Emily M. Bender , Chirag Shah
译者 | 平川
策划 | 刘燕
全知计算机程序的想法来自科幻小说,也仅限于科幻小说。尽管 ChatGPT 和其他语言模型具有令人神往的流畅性,但它们仍然不适合作为知识的来源。我们必须与信任听起来像人的机器这一本能作斗争。
本文最初发布于 iai news。
全知计算机程序的想法来自科幻小说,也仅限于科幻小说。尽管 ChatGPT 和其他语言模型具有令人神往的流畅性,但它们仍然不适合作为知识的来源。Emily M. Bender 和 Chirag Shah 认为,我们必须与信任听起来像人的机器这一本能作斗争。
几十年的科幻小说告诉我们,高科技未来的一个关键特征是计算机系统,它可以通过友好的(有时是邪恶而冷漠)声音,让我们即时访问似乎无限的知识集合。万维网诞生的早期就希望它可以成为知识收集的开端。随着 Meta Galactica、OpenAI ChatGPT 以及今年早些时候谷歌 LaMDA 的推出,友好的语言接口似乎也指日可待了。
然而,我们不能把一个出于方便考虑的情节设计——一种确保人物总是拥有作者需要他们拥有的信息的手段——误认为是一种可以告诉人们在现实世界中如何创造技术的路线图。事实上,像 Galactica、ChatGPT 和 LaMDA 这样的大型语言模型都不适合作为信息访问系统,这体现在两个相互独立的基本方面。
首先,它们的目的是创建连贯的文本。它们经过了巧妙的构建,可以接受大量的训练数据,并对单词在所有文本中的共现方式进行建模。其结果是,系统生成的文本,当我们从人类的角度理解时也非常引人注目。但是,这些系统对它们所生成的东西、交流意图、世界模型,或者对它们所说内容的真实性负责的能力,都没有任何理解。这就是为什么在 2021 年,我们中的一位(Bender)和她的合著者将它们称为随机鹦鹉。
信息搜索不仅仅是
为了尽快得到答案
其次,关于全知计算机的幻想是建立在一个存在根本性缺陷的知识运作的概念上。永远不会有一套无所不包而又完全正确的信息可以代表我们需要知道的一切。即使你可能希望这会成为现实,但很明显,如今的万维网并不是这样。当搜索信息时,我们可能会认为我们有一个问题,我们是在寻找答案,但通常情况下,我们从意义构建中受益更多:细化我们的问题,寻找可能的答案,了解这些答案的来源以及它们所代表的观点,等等。请考虑以下两个查询之间的差异:“摄氏 70 华氏度是多少?”和“考虑到目前 COVID 的情况和我自己的风险因素,我应该采取哪些预防措施?”
信息搜索不仅仅是为了尽快得到答案。当然,我们的许多问题都只需要基于事实简单作答,但其他问题需要一些调查。对于这些情况,重要的是我们要看到相关来源和信息出处。虽然这需要用户付出更多努力,但这个过程会伴有重要的认知和情感过程,使我们能够更好地了解自己的需求和环境,并在使用所寻找和收集的信息之前进行更好的评估。我们在情境搜索论文中谈到了这些问题。
我们需要尽快认识到,表面上的流畅
并不意味着准确、信息价值或可信度
在这方面,ChatGPT 和其他直接提供问题答案的对话系统有两个基本问题。首先,这些系统直接生成答案,跳过了向用户展示可以从哪里查找答案的步骤。其次,这些系统以对话式自然语言提供回应,这是我们之前与人交流时才会有的体验:不管是在进化过程中,还是在每个人的生活经历中,自然语言一直都是与人类同行。当我们遇到合成语言输出时,可能会和与人类交流时一样,自然而然地扩大信任。我们认为,系统要非常谨慎地设计,以免滥用这种信任。
自从 ChatGPT 发布以来,关于我们能够用它来做什么,相关的报道铺天盖地,令人窒息,我们也非常关心如何将这项技术呈现给公众。我们知道,即使是使用非对话式搜索引擎,过度信任结果也是很常见的:如果搜索系统将某个东西放在列表的顶部,我们就倾向于认为这是一个好的、真实的或具有代表性的结果,如果它没有找到某个东西,我们就很容易相信它不存在。但是,正如 Safiya Noble 在《压迫算法》一书中警告我们的那样,这些平台并不会中立地反映世界的现状和人们谈论世界的方式,而是受到各种企业利益的影响。作为公众,当务之急是学会将信息获取系统的工作方式概念化,我们要认识到,表面上的流畅并不意味着准确性、信息价值或可信度。
声明:本文为 InfoQ 翻译,未经许可禁止转载。
https://iai.tv/articles/all-knowing-machines-are-a-fantasy-auid-2334