在最近一项研究中，DeepSeek-AI 团队针对多模态大模型展开了深入探索。选择这一研究方向，背后有着多重考量。
最初，该团队围绕是否聚焦于多模态生成、多模态理解、或是两者的统一框架进行了广泛讨论。
基于对通用人工智能（AGI，General Artificial Intelligence）的追求——这一点也一直是他们的研究主线和研究理想，最终其决定致力于深化对于开放世界的理解。
（来源：arXiv）
他们相信这不仅是实现先进多模态生产的前提，长期来看也可以对多模态生成进行赋能。
比如，Sora 就使用了多模态模型对训练数据进行了大量的标注，这也证明长远来看“理解与生成”一定是相互补充、相互促进的关系。
此外，他们选择先从增强大语言模型的更多模态处理能力入手，也是鉴于该团队在语言理解领域积累的深厚经验。
这一决策同样受到了科技界广泛关注的趋势影响——即强化大模型的多模态能力，包括强化对于文本和图像的理解。
这一方向被认为是未来发展的关键，能够极大地拓展大模型在现实世界的应用范围，比如为视障人士提供辅助，或在机器人技术和日常生活自动化等领域的应用。
然而，目前市场上表现出色的多模态大模型大多为闭源（如 OpenAI 的 GPT4V、Google 的 Gemini），这限制了多模态大模型在更广泛领域的应用和发展。
而目前大部分开源多模态模型目前主要还是集中在学术领域，且对预训练模型的深入探索较少。
鉴于此，他们认为开发一个面向实际应用场景的开源多模态模型，不仅对科技社区有重大意义，也将极大地促进多模态大模型在更多跨领域的发展。
研究中，该团队首先从一个 10 亿参数的小模型开始，逐步扩展到几十亿参数规模的模型，一步一步地走完了整个多模态预训练流程。
过程中他们从数据、模型架构与训练策略上协同推进，最终把相关发现形成科技报告并开放给所有人，也开源了最终的预训练模型与微调模型。
值得一提的是，本次成果与苹果公司最近发布的多模态模型 MM1 有着很多相似之处。
多模态大模型的应用前景极其广阔，如果把当前的大语言模型（LLM，Large Language Model）视为一个初期的智能体，那么多模态就是通过扩展其感知能力，让这个智能体能够更全面地与现实世界互动。
（来源：arXiv）
目前，该团队主要关注视觉模态和语言模态，但未来计划将其扩展到包括音频和嗅觉在内的更多模态，使之成为一个真正能够与世界连接的智能体。
从应用角度来看，这种多模态智能体的潜力几乎是无限的。它们可以成为每个人的超级助理，承担人类能够想象到的所有工作。
在初期阶段可以作为辅助工具，后续将逐渐发展到彻底将人类从繁重劳动中解脱出来。
这种智能体不仅能够理解并压缩人类社会的知识，还能与现实世界进行直接交互，这意味着它们的应用场景非常广泛，包括但不限于自动化助手、教育、医疗、创造性工作、日常家务等领域。
长期来看，这些多模态大模型的发展潜力可能将远超人类当前的想象。
预计它们将成为人类社会不可或缺的一部分，帮助人们更有效地利用资源和提高生活质量，同时也能为人类打开一扇窗口，让我们以全新的方式理解世界。
据介绍，该团队从 2023 年中开始着手本次项目。最近半年到一年间，整个行业在多模态方向上取得了飞速进展。
科技社区的活动非常热烈，开源和闭源的模型都变得越来越强大，几乎每个月都有相关模型发布，对于他们这些从业者来说是一种鞭策。
同时，相比于架构比较成熟的大语言模型而言，多模态模型的架构并未拥有一个非常确定的结构。
（来源：arXiv）
各个模块之间的选择都有值得探索的地方，这些不确定性让他们更多是感到十分兴奋，也让他们觉得还有更多的机会。
庆幸的是即便在这种情况下，该团队也得到了不错的算力支持和数据工程支持。
这让他们能够快速迭代，进行更全面的数据采集、更好的数据清理，并能够优化语言-多模态数据集的配比，以及探索更好的模型结构和训练策略。
此外，除了开源 7B 模型之外，该团队同样也开源了 1.3B 的小模型。
研究人员表示：“DeepSeek-VL 1.3B 小模型的性能同样强悍，在部分指标上超越了 7B 模型。”
这些小模型可以满足算力缺乏型开发者使用，也更方便在手机等移动终端上部署。
日前，相关论文以《DeepSeek-VL：面向真实世界的视觉语言理解》（DeepSeek-VL：Towards Real-World Vision-Language Understanding）为题发在 arXiv[1]，Haoyu Lu、Wen Liu、Bo Zhang 是共同一作。
图 | 相关论文（来源：arXiv）
不过，多模态框架目前还没有明确的定型，当前的这套 Vision Encoder + Projector + LLM 是不是最终的答案还值得商榷。
研究人员表示：“DeepSeek-VL 是我们在多模态上的第一个起始工作，后续的工作一定是更有趣、更有意义、且更长远的。”
参考资料：
1.https://arxiv.org/pdf/2403.05525.pdf
2.https://github.com/deepseek-ai/DeepSeek-VL/tree/main
3.https://huggingface.co/spaces/deepseek-ai/DeepSeek-VL-7B
运营/排版：何晨龙