凌晨，微软在 Build 2024 开发者大会上举行了两次主题演讲。微软希望将生成式 AI 带到 Windows 以及 PC 最前沿。

活动现场，微软推出了一系列新的 Windows 机器 “Copilot+ PC”，以及 Recall 等 AI 驱动的生成式 AI 功能，可帮助用户查找应用程序、文件和其他内容。

微软将 “Copilot” 定义成自家的生成式 AI 品牌，相关功能很快将更深入地融入 Windows 11 体验中，而新的 Microsoft Surface 设备即将上市。

微软希望将 AI 融入到我们能找到的每一个角落和缝隙，这也意味着 Copilot 会不仅看着你，且协助你完成《我的世界》中的游戏任务，或成为你的 AI Agent 同事。

Copilot+ PC

Copilot+ PC 是微软推出的最新 AI 硬件，所有这些都包含称为 NPU 的专用芯片，用于为 Recall 等 AI 体验提供支持，至少配备 16GB RAM，搭配 SSD 存储。

首批 Copilot+ 电脑将搭载高通的 Snapdragon X Elite 和 Plus 芯片，微软声称这些芯片可提供长达 15 小时的网页浏览时间和 20 小时的视频电池续航时间。

Intel 和 AMD 也致力于与宏碁、华硕、戴尔、惠普、联想和三星等一系列制造商合作，为 Copilot+ 设备制造处理器。Copilot+ PC 起价为 999 美元，部分产品现已开始预订。

Surface Pro & Surface 笔记本电脑

微软推出新款 Surface 设备 —— Surface Laptop 和 Surface Pro，并注重性能和电池，新款 Surface Laptop 配备 13.8 英寸或 15 英寸显示屏，经过重新设计，具有“现代线条”和更薄的屏幕边框。

微软表示，它充电一次可使用长达 22 小时，速度比 Surface Laptop 5 快 86%。它还支持 Wi-Fi 7 并配有触觉反馈触控板。

新款 Surface Pro 比上一代 Surface Pro（Surface Pro 9）速度提升了 90%，并且配备了带有 HDR 显示屏的新型 OLED、Wi-Fi 7（以及可选的 5G）和升级超广角前置摄像头。此外，其可拆卸键盘（已用额外的碳纤维加固）现在具有触觉反馈。

Recall “时光倒流”

Windows 11 即将推出的 Recall 功能可以“记住”用户几周甚至几个月前在 PC 上访问的应用程序和内容，例如帮助他们找到正在讨论他们正在考虑购买的衣服的 Discord 聊天。

用户可以使用 Recall 的时间线“向后滚动”，查看他们最近在做什么，并深入查看 PowerPoint 演示文稿等文件，以显示可能与他们的搜索相关的信息。

Recall 可以在颜色、图像等之间建立关联，让用户可以用自然语言搜索 PC 上的几乎所有内容（与初创公司Rewind 的技术没有什么不同）；开发人员将能够通过向应用程序添加上下文信息来提高召回率。

此外，微软表示与 Recall 相关的所有用户数据都是保密的并保存在设备上 - 重要的是，不用于训练 AI 模型。

图像编辑和实时翻译

Windows 的新功能“超级分辨率”可通过自动放大旧照片来恢复旧照片。Copilot 现在可以分析图像，为用户提供创意构图的灵感。通过一项名为 Cocreator 的功能，用户可以生成图像，还可以让 AI 模型按照他们所绘制的内容来更改或重新设计图像。

在其他地方，带有实时翻译的实时字幕可以将通过 PC 传输的任何音频（无论是来自 YouTube 还是本地文件）翻译成用户选择的语言。实时翻译最初将支持大约 40 种语言，包括英语、西班牙语、普通话和俄语。

Microsoft Edge 中的一项独立但相关的新功能可在 LinkedIn、YouTube、Coursera、路透社、CNBC、彭博社等网站上提供实时视频翻译。该功能将于不久的将来推出，支持将西班牙语翻译成英语，以及将英语翻译成德语、印地语、意大利语、俄语和西班牙语，并通过配音和字幕实时翻译口语内容。

微软表示该功能“即将推出”，未来将添加更多语言和视频平台。

Volumetric Apps

微软正在将 Windows Volumetric Apps 引入 Meta Quest 耳机。微软表示，通过与 Meta 的合作，它将为 Quest 耳机提供 Windows 365 和本地 PC 连接，使开发人员能够将他们的应用程序扩展到 3D 空间。

微软从 Meta Quest 3 耳机的角度展示了 Xbox 控制器的数字分解 3D 视图——佩戴者可以用手操纵的数字对象。

微软 Windows 和设备首席副总裁 Pavan Davuluri 表示，微软正在深化与 Meta 的合作关系，以使 Windows 在 Quest 设备上提供一流的体验。

开发人员可以注册预览版以获取对 Microsoft 新体积 API 的访问权限。

Team Copilot

Team Copilot 是 Microsoft 不断发展的 Copilot 生成式 AI 技术套件的最新扩展。它与公司的视频会议应用程序 Teams 集成，以帮助管理会议议程并记录会议中的任何人都可以共同撰写的笔记。

它还扩展到 Microsoft 的协作和规划平台 Loop 和 Planner，用于创建和分配任务、跟踪截止日期并在需要时通知团队成员。

此外，Microsoft Teams 现已支持添加你自己的表情符号的功能，就像在 Slack 中一样，管理员可以限制谁可以添加表情符号，并且他们在组织域之外不可见，预计七月上线。

Azure AI Studio+ Copilot Studio

Azure AI Studio 是微软 Azure OpenAI 服务中的工具集，它允许客户组合 AI 模型并构建一个“推理”数据的应用程序，很快它将允许开发人员使用按需付费推理 API 创建应用程序——开发人员可以通过这些 API 访问和微调托管在 Azure 基础设施上的生成 AI 模型。

微软称之为“模型即服务”，并将首先推出来自 Nixtla 和 Core42 的模型。在相邻的 Copilot Studio 产品套件中，微软正在推出 Copilot Agent，可以“独立编排针对特定角色和功能定制的任务”。

Copilot Studio 提供了将 Copilot for Microsoft 365 （Excel 和 Word 等应用程序中由 AI 驱动的 Copilot 功能，支持连接到第三方数据的工具，并利用内存和上下文知识，Copilot Agent 可以导航各种类型的业务工作流程、从用户反馈中学习，并在遇到不知道如何处理的情况时寻求帮助。

微软表示，Copilot AI 很快可以作为虚拟员工，企业可以用它来执行一些琐碎的任务，例如监控电子邮件、执行一系列自动化任务、帮助员工入职或进行数据输入，所有这些都无需提示。

此外，新的 Copilot 功能不会取代工作——只会取代无聊的部分，这项新功能将于今年晚些时候在 Copilot Studio 预览版中发布。

Windows Copilot Runtime

Windows Copilot 运行时为召回和超分辨率等功能提供支持，它是约 40 个生成式 AI 模型的集合，构成了 Microsoft 所描述的 Windows 的“新层”。

Windows Copilot 运行时与语义索引（单个 Copilot+ PC 本地基于矢量的系统）相结合，允许生成式 AI 驱动的应用程序（包括第三方应用程序）运行，而无需互联网连接。

Windows Copilot 由现成的 AI API 组成，例如 Studio Effects、实时字幕翻译、OCR、带有用户活动的 Recall 等，这些 API 将于 6 月向开发人员提供。

此外，TikTok 母公司字节跳动推出的流行视频编辑器 CapCut 将使用 Windows Copilot 运行时和随附的新 Windows Copilot 库（一组 API 和 AI 开发工具）来加速其 AI 功能。

Meta 还将在 WhatsApp 中添加上述 Studio Effects，以在视频通话期间提供背景模糊和目光接触等功能。

Phi-3-vision 多模态模型

微软推出了 Phi-3-vision，这是自 4 月份宣布的模型的新版本，它是多模态的，可以阅读文本和查看图片，但它是一种小型语言模型，足够紧凑，可以在移动设备上工作。

Phi-3-vision 是微软 Phi-3 系列模型的一部分，该公司于 4 月份宣布推出，现已提供预览版。

GPT-4o 与 Azure AI

在 Microsoft Build 2024 上，微软表示那些渴望获得 GPT-4o 的人现在可以通过 Azure AI Studio 并以 API 的形式访问它。

Microsoft 的 Azure AI Studio 是开发人员尝试 Azure 支持的最新工具的游乐场，其中包括 GPT-4 Turbo 和现在的 GPT-4o 等 OpenAI 模型。GPT-4o 的图像和视觉功能已经可以通过 OpenAI 自己的 API 和 ChatGPT 获得，而备受期待的语音模式还有几周的时间。

Satya Nadella 现场分享了人们通过 Copilot 使用 GPT-4o 的一些方法。这包括与 GPT-4o 支持的 Copilot 共享您的屏幕或会话，并请求其帮助玩 Minecraft。然而，正如 Mashable 的 Alex Perry 指出的那样，如果你在《我的世界》中遇到困难，“你可以玩游戏 10 分钟，也可以直接用 Google 搜索一下。”

Sam Altman 也出席现场，他表示新的模态和 Agent 智能体将是 OpenAI 下一个模型关键，预计模型将会变得更智能、更强大，更安全，GPT-4o 将会速度更快，成本更低。

Scaling Law 将像摩尔定律一般改变我们使用数据、生成数据的方式，全新的交互界面，即模型本身，将支持文本、语音、图像、视频作为输入和输出。

随后 Microsoft CTO Kevin Scott 展示了 GPT-4o 如何帮助编写代码，并强调模型将如何继续变得更快、更强大。将手机对准代码屏幕，使用 GPT-4o 的 ChatGPT 风格机器人读取代码，并帮助首席工程师 Jennifer Marsman 实时解决问题。

高通版 Mac Mini

高通发布了用于 Windows 的大约 Mac Mini 大小、售价 899 美元的 Snapdragon 开发套件内置了 Snapdragon X Elite 芯片，它还拥有 32GB RAM、512GB SSD 和大量端口。

Microsoft 文件资源管理器作为 Git 存储库

用户很快就可以使用 Microsoft 的文件资源管理器来跟踪您的编码项目，因为微软正在将 Git 集成到文件系统浏览器中。

微软表示，开发人员将能够在文件资源管理器中跟踪文件状态、提交消息及其当前分支。此外，该应用程序现在原生支持 7-zip 和 TAR 压缩。

AI 驱动的剪贴板功能

Microsoft 的新高级粘贴功能现已作为 Windows 11 PowerToys 套件的一部分提供，用户能够随时转换剪贴板的内容。

你可以通过按 Windows 键 + Shift + V 来触发“高级粘贴”菜单，然后使用其他键盘快捷键将粘贴转换为纯文本、Markdown 或 JSON 等格式。

此外，你还可以通过在提示框中键入内容来进行转换，该提示框具有其他功能，例如在粘贴文本之前更改或总结文本，而这项功能的使用需要配合 OpenAI API 密钥以及 OpenAI 帐户中用于 AI 部分的积分。

与可汗学院合作

微软正在与可汗学院合作，捐赠云计算基础设施的访问权限，使可汗学院能够向美国的教育工作者免费提供可汗学院的 AI 工具，并合作探索通过生成式 AI 改进现有 AI 教育应用的机会，实现个性化教学并让学习变得有趣。

借助 AI 工具，教师可以将更多时间花在学生身上。Khanmigo 提供一系列 AI 建议和教师工具，减轻教师许多导致教师倦怠的行政负担。只需点击屏幕上的仪表板，只需几分钟甚至更短的时间，教师就可以生成自定义课程计划、建议学生分组，或为学习困难或需要更多挑战的学习者“提升”或降低文本段落。

低工资和因 COVID-19 大流行而加剧的难以管理的工作量是许多教师放弃教学的一些主要原因。可汗学院估计，结合使用这些工具，教师每周平均可以节省 5 个小时的工作时间。

Sal Khan 表示，教师们工作过度，离开这个行业的教师人数创历史新高，服务欠缺地区的学区受到的打击尤其严重，将 AI 用于教育不仅是一种可能有助于加速学生学习的强大方法，也是“使教学更具可持续性”的一种方法。

速递｜微软 Build 2024开发者大会汇总