能力

助手的大部分能力都在对话里使用：你的用户提问，助手自己决定用什么——一次搜索、看一眼用户发来的照片、记下一件以后用得上的事——并把结果流式返回，每一步都以 task.progress 帧发送。媒体、语音和语音转文字也可以单独调用。

在对话里

这些能力不用你逐个调用：助手按对话需要使用它们，控制台的调用记录页会列出每一次使用。

搜索与调研

能力	给用户的结果
网页搜索	从当前网页中得出的回答，附带出处。
新闻	某个话题的最新新闻。
公开讨论	公开社交平台上人们对某个话题的讨论。
学术论文	论文及其信息：作者、年份、摘要。
商品	商品及其价格和商家链接。
图片	网上符合描述的图片。
视频	视频平台上与话题相关的视频。
地点	按名称或类别找地点，可以在某个位置附近找，也可以不限范围。
读网页	一个公开网址上页面的主要内容。
深度调研	就一个问题综合多个来源写成的带出处的报告，以文件形式交付，并附摘要。耗时几分钟；助手会自己跟进到完成。

理解

能力	给用户的结果
图片	用户发来的照片里有什么：物体、文字、细节——以及对相关问题的回答。
视频	用户发来的视频里发生了什么，以及对相关问题的回答。

记忆

助手会记住用户分享的、值得记住的事——一个偏好、一个计划、一条关于他们的信息——并在之后的对话里想起或检索。每个终端用户的记忆只属于他自己：无论是你项目里的还是其他项目的用户，都无法读到。

创作

在对话里，助手会按用户的要求生成和编辑图片、视频和音乐，结果以 media.updated 帧送达。这些能力也有自己的接口——见下文。

为会话选择能力

创建会话时——无论是文字会话还是语音会话——你可以决定助手在这个会话里能用哪些能力。二选一传：

• capabilities——只开这些。以后新增的能力不会进到这个会话。
• exclude_capabilities——除了这些，其余全开。以后新增的能力，会在新增之后你再创建的会话里打开。

两个都不传就全部打开。无论哪种写法，会话的能力都在创建时定下，并在整个生命周期里不变；会话的 capabilities 字段会写明实际开了哪些。用户要求用会话没开的能力时，助手会说明这里不提供，也不会为此计费。记忆不是一项能力：每个会话都有。

能力	包括
search	上面所有搜索，以及读网页。
deep_research	深度调研报告。
understanding	仔细查看用户发来的图片，以及看懂用户发来的视频。不开时，助手仍然能看到用户发来的照片。
image_generation	在对话里生成和编辑图片。
video_generation	在对话里生成和编辑视频。
music_generation	在对话里生成音乐。
documents	助手为用户制作的文件——PDF、文档、表格、演示文稿——以及对用户发来的文件做较重的处理。

想让会话固定在一组能力上——比如你的应用目前能展示的那些——就在 capabilities 里列出来。想在新能力推出时自动用上，就用 exclude_capabilities 只列出不要的。生成图片、视频或音乐，为用户制作文件，以及深度调研，都会产出媒体或文件：你的应用展示不了的，就不要开。

以后可能会增加新的能力。以下请求会被拒绝，返回 422 validation_failed：写了不在这张表里的能力名（param 指出是哪一项，比如 capabilities[1]）；两个字段同时传（param 为 exclude_capabilities）；重新加入语音会话时带了其中任一字段——重新加入的会话沿用它创建时的能力（param 指出是哪个字段）。会话里没开的能力，它自己的接口照常可用。

有自己接口的能力

能力	接口
图片：按描述生成，或编辑一张图片	生成
视频：按描述、首帧或尾帧、参考图片、视频与音频生成；编辑视频的一部分、重拍一条、动作迁移、改画幅、配乐	生成
音乐：按描述生成一首歌	生成
语音：实时语音对话	实时语音
语音转文字：把录音转成文字	语音转文字
语音对话的纪要	会话纪要
由你的应用渲染的界面，开放 A2UI 格式	A2UI 回复

每种能力都以积分计费，从项目余额里扣——见积分与计费。