知名大模型平台Anthropic发布了一种新的消息批次API，这是一种强大且经济高效的异步处理大量查询的方法。
新的API可帮助开发者每次可发送多达10,000个查询的批次。每个批次能在不到 24 小时内处理完成，且成本比标准API调用低50%。
该API还有两大技术优势：1）增强的吞吐量享受更高的速率限制，以便处理更大的请求量而不影响开发者的标准API速率限制；
2）数据可扩展性，无需担心基础设施问题即可处理大规模任务，例如，数据集分析、大型数据集分类或广泛模型评估等。
目前，该API 可在公开测试版中可用，支持Claude 3.5 Sonnet、Claude 3 Opus 和 Claude 3 Haiku模型。在亚马逊 Bedrock 中使用 Claude 的客户可以使用批量推理。对谷歌云 Vertex AI上的Claude进行批量处理的支持即将推出。
本文素材来源Anthropic，如有侵权请联系删除