ChatGPT 回答的编程问题错误率 52%,但 39% 人类程序员没看出来

IT之家 5 月 25 日消息,生成式 AI 已经成为开发利器,可以辅助开发者快速生成相关代码,让开发者从“敲代码”逐渐过渡到“审代码”,不过最新报告指出 ChatGPT 所回答的编程问题内容错误率高达 52%。
来自普渡大学的研究小组于 5 月初出席计算机-人交互大会,并提交了一份报告,检查了 ChatGPT 回答的 517 个 Stack Overflow 问题,发现错误率高达 52%。
图片
图片
调查结果显示,人类程序员在 35% 的情况下更喜欢 ChatGPT 的答案,认为其提供的内容更全面,且有清晰的语言风格;更糟糕的是,在 39% 的情况下,人类程序员并没有发现 ChatGPT 的错误答案。
虽然这只是对 ChatGPT 功能的一个方面进行的研究,但它确实表明,生成式人工智能机器人仍然容易犯很多错误,而人类可能无法发现这些错误。
IT之家附上参考地址: