Meta计划曝光:下一个大模型以GPT-4为标准,2024年开始训练

机器之心报道
编辑:陈萍
随着技术竞赛的升级,Meta 更强大的 AI 系统正在研发当中。
在 AI 研究这一领域,Meta 可谓是走在了众多科技公司的前列。
自年初以来,我们见证了大型语言模型如雨后春笋般不断涌现,在这一赛道上,Meta 先后开源的 Llama、Llama 2 系列模型在一众模型中脱颖而出,尤其后者的可商用化,为开源社区带来了众多便利,很多人纷纷表示大模型的「安卓时刻」来到了。
图片
然而,训练大模型离不开算力的支持,这就回到了一个怎么也绕不开的问题:芯片短缺,这一问题也是各大科技公司所面临的一个老大难问题,就连 Meta 也是如此。
就在前两天,据 The Information 报道,Meta 内部因为团队之间抢夺算力资源内斗激烈,参与 Llama 项目的很多人都辞职了。
可见,算力短缺是布局生成式 AI 的核心难题,很多科技公司开始加入抢夺芯片这一行列。
Meta 也是如此。据《华尔街日报》报道,Meta 一直在抢购芯片,并且开始建立自己的数据中心,以创建一个更强大的新型聊天机器人,Meta 将 GPT-4 作为其下一个 AI 模型的标准,并希望新的聊天机器人能够像 GPT-4 一样强大和复杂
这款大模型将在 2024 年年初开始训练,会比 Llama 2 模型强大数倍,可能还会免费供他人使用。
报道还称,为了更好的进行 AI 研究,Meta 一直在购买更多的英伟达 H100 AI 训练芯片,其基础设施也在加速部署当中,所以,在此后的模型训练中,Meta 将不再依赖微软的 Azure 云平台来训练新的聊天机器人。
虽然有关 Meta 训练新模型的具体细节仍然未知,但我们可以从此前的报道中推测一二。
根据今年 6 月的一份泄密报告显示,图片及视频分享软件 Instagram 正在加速测试一款聊天机器人,该机器人可以回答问题并为用户提供建议。在此之前,Instagram 竞争对手 Snap 早早就推出了自己的 AI 聊天机器人,这可能是 Instagram 着手研发 AI 聊天机器人的原因之一,与对手直接竞争。
图片
图源:https://twitter.com/alex193a/status/1665825192398995469
Meta 尚未宣布任何关于此类功能的正式计划,我们也无从得知 Meta 是否真的打算在 Instagram 上推出此类机器人,也不清楚 Meta 会采取哪些安全措施。
不过,今年 2 月,Meta 首席执行官马克・扎克伯格 (Mark Zuckerberg) 透漏,Meta 正在开发能够以多种方式帮助人们的 AI 角色,并且该公司正在探索如何通过文本对话来访问此类机器人。
不仅 Meta,其他公司机构也在加速大模型的研发,两月后 OpenAI 将会迎来首届开发者大会,很多人对大会上要发布的内容好奇不已;苹果每天在自己的大语言模型框架 Ajax 上投入数百万美元,并已经将其应用在地图、siri 等功能上;谷歌和微软都在各自的生产力工具中扩大人工智能的使用;亚马逊在其组织内开展生成式人工智能计划,可能会产生由聊天机器人驱动的 Alexa。
由此可见,大模型的竞赛还在激烈进行中,或许最大的赢家还是芯片公司。
不过,对于 Meta 的这一计划,有网友开玩笑的表示:当他们完成这些的时候,GPT-5 就已经问世了。
图片
不管怎样,对于 Meta 将要研发的下一代大模型,我们还是可以期待一波的。
参考链接:
https://www.theverge.com/2023/9/10/23867323/meta-new-ai-model-gpt-4-openai-chatbot-google-apple