海外多家主流媒体网站对苹果 AI 内容抓取机器人 Applebot 说不

IT之家 8 月 30 日消息,《连线》(Wired)昨日(8 月 29 日)发布博文,报道多家主流媒体向苹果的数据抓取机器人 Applebot 说不
图片
报道称多家主流媒体都选择屏蔽苹果的 Applebot 抓取机器人,其中包括:
Facebook
Instagram
Craigslist
Tumblr
《纽约时报》
《金融时报》
《大西洋月刊》
Vox Media
USA Today
以及《WIRED》的母公司康泰纳仕(Condé Nast)
苹果 Applebot 最早于 2014 年 11 月被曝光,于 2015 年 5 月正式披露。
而苹果 Applebot-Extended 是 Applebot 的增强版,过去十年来苹果一直在抓取网站内容,用于改进 Siri 和 Spotlight 搜索等。
IT之家援引《连线》报道,大部分主流出版商都使用 robots.txt 文本来阻止苹果抓取,在上周展开的两项研究中,约有 6% 至 7% 的高流量网站屏蔽了苹果公司的搜索工具 Applebot-Extended
Ben Welsh 上周展开的后续研究显示,在测试的网站中,有 25% 屏蔽了苹果的 Applebot-Extended。
Welsh 的研究发现,OpenAI 的机器人被 53% 的新闻网站拦截,而谷歌的 Google-Extended 机器人被 43% 的网站拦截。
《连线》的结论是,虽然网站可能并不关心苹果智能是否在搜索它们,但拦截率低的主要原因是,苹果的人工智能机器人相对知名度不高,没有引起公司的重视。