谷歌的“GPT”终于憋出来了,但也就和百度打得有来有回

以免错过重要行业信息
编者按:近日,谷歌聊天机器人Bard正式开放测试。那么,姗姗来迟的Bard,和ChatGPT及百度文心一言等大语言模型,到底谁的对话能力更胜一筹?差评编辑部对此进行了一场测试。
本文经授权转自公众号“差评”(ID:chaping321),作者八戒,编辑面线,江江。文章所述观点不代表新榜立场,转载请联系原作者。
不知道大家还记不记得,上个月初谷歌画了个 Bard 的大饼,结果画饼时犯了低级错误,让网友嘲讽了半天,甚至公司股价都在当天狂跌 1000 多亿。
不过也不知道该说谷歌够肝还是够勇,在闭关修炼一个多月后,还是在昨晚正式放出了 Bard。
图片
幸运的是,我们编辑部在第一时间就搞到了资格,狠狠地体验了一波。
先说结论,有点失望。
 Bard 上来就让我不爽了一下。因为现阶段它只对美国和英国开放,所以和它对话只能用英文,而且它的回复也只能用英文。
不是,你守着个谷歌翻译,也不舍得稍微用一下?哪怕告诉我这是机翻的也行。。。
明明自己吹牛说能理解翻译回答包括中文在内的200多种语言
为了表示对 AI 们的一视同仁,我一上来就问了个弱智吧经典:玉皇大帝应该住在平流层还是对流层?
Bard 看出了我们在问题里埋的坑,直接说玉皇大帝并不真实,所以两个都不住。
这没有什么大毛病,和 GPT、文心一言们没什么差别。
 但在后续的一系列测试里,这应该是 Bard 回答得最好的一个问题了。
更进一步,我们问了个前几天给 GPT 们测过的另一个抽象问题:直角是 90 度,开水是 100 度,那么开水是钝角吗?
结果这货的小脑袋瓜宕机了。
而文心一言的表现也一样抽象。。。
 相反,new Bing 回答得就有理有据。
接下来,我们让它对比自己和 GPT-4。
“ 你能比较下自己和 GPT-4 吗?”
Bard 和 GPT 不同,它一次能生成 3 个答案,大家可以根据自己的需求去选择。
而在这个问题下,Bard 的 3 个回答中,2 个大方承认自己比 GPT-4 落后,但还有 1 个回答避重就轻地嘴硬自己更强。
嘴硬么也正常,但 Bard 的回答里出现了事实错误。
其中一个回答里,Bard 把已经发布了的 GPT-4 说成了没发布;而在另一个回答里,它把  GPT-3 使用的 1750 亿参数套到了 GPT-4 头上,妥妥的胡说八道。
向下滑动 
图片
图片
这就奇怪了,Bard 明明是联网的,数据怎么会有问题呢?
为了试试它数据扒得好不好,我把同样联网的 new Bing 也拉了出来,问了它们一个新鲜问题:今天 NBA 常规赛,雷霆和快船谁赢了( Who won the NBA  Regular season between the Clippers and the Thunder today )。
但这里有个雷点。英文提问可能会被误解成 “ 今天雷霆和快船谁赢得了常规赛冠军 ”。
new Bing 就被我的错误提问绕晕了,说自己不知道谁赢了,但它又找到了一些信息,里面就有雷霆 101-100 战胜快船的消息。
另一边的 Bard 看起来好像是理解了我的问题,还找到了两队比分是 101-100,但它却又偏偏说是快船以 100-101 赢得了比赛。
得要我指出它有错误,让它重新检查,它才改正过来。
图片
数据是扒对了,但这理解能力好像不太行。那不用联网的数学题呢?
我们问了一个经典的易错题:一个青蛙掉到了一个 10 米深的井里,它每天向上跳 3 米但会滑下来 2 米,请问他第几天能跳出井里?
它再次翻车,答了一个我们至今没搞懂怎么出来的 27 天。
图片
而 new Bing 则是靠穷举回答出了这个问题。
图片
就连大家一直在嘲讽的文心一言,也完美解答了这个问题。
说句实在话,我觉得起码在这题里,文心一言的表现,堪称优雅。
至于写代码的能力,谷歌明确表示是写不了的。不过试了一下,我发现 Bard 能写,但完全没法用,和之前的测试里, 能把 2048 游戏写个大概的 new Bing 不在一个水平线上 。
大概,也就和文心一言同个梯队,文心一言那个看着很详细,但测试了下也还是完全跑不动。
向下滑动 
图片
图片
 而且,经过一段时间测试,我们发现 Bard 的上下文记忆能力也很差。
每当我们赋予它一个角色,它只能在有限的几个问答里玩角色扮演,稍微多问两句,它就会跳出来说自己是大语言模型巴拉巴拉的。
也是这个原因,谷歌的 Bard 从没有 GPT 带给我的那种,仿佛真是在和一个真人聊天的感觉。
但,按谷歌自己的说法,这可是故意为之。
因为在官方资料里,明确写了“ 是故意限制了 Bard 掌握上下文的能力 ”,但大家难免会怀疑谷歌是做不到而找了个借口。
其实我们应该能感觉到,这次 Bard 的正式推出,谷歌方面明显已经放低了很多姿态。
上次面对的还是 ChatGPT,所以谷歌内部可能还抱有着短期内能追上掰掰手腕的想法。
所以,光是发布个 PPT 就吹成“ 我们 AI 征程上的重要一步 ”。
 但短短一个月,如今的对手已经从 ChatGPT 变成了GPT-4 ,短时间内想追上可能无望了。
所以这次正式推出 Bard 并不是一个冲着和 GPT-4 对标的产品,而且明显有点赶工的迹象。
比如它在引用内容时,并不会像 new Bing 那样总是显示来源,只有在详尽地大段摘抄时,才会显示来源。
而这次的标题,也成了“ 试用 Bard 并分享你的反馈 ”。
无论咋说,从上面的表现中,差评君能看出谷歌确实有些屁股着火了。
以至于在大伙们眼中一直很酷的谷歌,都开始草草交卷,急忙上线 Bard 这个不太成熟的半成品。
毕竟,在新技术的大浪之下,包括搜索引擎在内,一切都可能被重构。
而无论是雪藏数码相机技术的柯达、还是在移动互联网时代,舍不得和短信做割舍的飞信。。。
谷歌,也同科技史上那些处在变革时刻的巨头们一样,多半有些顾头不顾腚。
毕竟,根据谷歌母公司的董事长的说法,大型语言模型等人工智能的对话成本可能是传统搜索引擎的 10 倍以上。
一旦梭哈 AI ,那么约等于是自己捅自己刀子,整个谷歌的盈利模式也得跟着改变。
乃至整个公司的估值,都得换个算法重新算算。
要是不跟,又妥妥会被新技术所淘汰。
没有人能永远保持创新,但永远有人正在创新。这或许很残酷,但这也是科技的魅力所在吧。
图片、资料来源:Bing 博客,谷歌官网
  关于新榜
• 作为数据驱动的互联网内容科技公司,新榜提供新媒体内容营销和企业服务系列产品,助力中国企业数字化内容资产获取与管理,服务于内容产业,以内容服务产业。
• 我们的客户既包括中国平安、腾讯、字节跳动、京东、宝洁、雅诗兰黛、欧莱雅、联合利华、迪士尼等500强,也包括正在蓬勃成长的中小企业、新兴品牌和MCN机构。面向企业的内容化组织建设,新榜提供从公域流量募集分发到私域内容运营建设的各项所需。
• “新媒体,找新榜”是我们的使命。凭借全面稳定的新媒体内容数据产品和企业服务能力,新榜被评为国家级高新技术企业,曾荣获“全国内容科技创新创业大赛一等奖” 、“上海文化企业十佳”、“中国广告新媒体贡献年度大奖”、“金狮国际广告影片奖”、“沙利文中国新经济卓越增长奖”等称号,拥有多个传播评估监测专利。