适用于 Android 的 Google 助理

Google 助理支持通过语音控制 Android 应用。借助助理,用户可以通过语音说出“Hey Google,在示例应用中开始跑步。”等指令来启动应用、执行任务、访问内容等。

作为 Android 开发者,您可以使用助理的开发框架和测试工具,轻松地在 Android 设备(例如移动设备、汽车和可穿戴设备)上实现对应用的深度语音控制。

App Actions

助理的 App Actions 允许用户通过语音启动和控制 Android 应用。





App Actions 支持更深层次的语音控制,使用户能够启动您的应用并执行以下任务:

  • 通过助理启动功能:将应用的功能连接到与预定义语义模式或内置 Intent 匹配的用户查询。
  • 在 Google 界面上显示应用信息:提供 Android 微件供助理显示,无需改变上下文即可向用户提供内嵌答案、简单确认和简短互动。
  • 从助理推荐语音快捷方式:使用助理在适当的上下文主动推荐任务,供用户发现或重播。

App Actions 使用 内置 Intent (BII) 来启用这些以及数十种更多热门任务类别的用例。如需了解如何在您的应用中支持 BII 的详细信息,请参阅本页上的 App Actions 概览。

多设备开发

您可以使用 App Actions 在移动设备之外的设备界面上提供语音优先控制。例如,使用针对汽车用例优化的 BII,驾驶员可以通过语音执行以下任务:

App Actions 概览

您可以使用 App Actions 为用户提供对应用的深度语音控制,让他们能够使用语音在您的应用中执行特定任务。如果用户安装了您的应用,他们只需说出包含应用名称的短语即可表达其意图,例如“Hey Google,在示例应用中开始锻炼。”App Actions 支持模拟用户表达他们想要完成的任务或寻求的信息的常见方式的 BII,例如:

  • 开始锻炼、发送消息以及其他特定类别的操作。
  • 打开应用的某个功能。
  • 使用应用内搜索查询产品或内容。

借助 App Actions,助理可以根据用户的上下文主动建议将您的语音功能作为快捷方式。此功能使用户能够轻松发现和重播您的 App Actions。您还可以使用 App Actions 应用内推广 SDK 在应用中建议这些快捷方式。

您可以通过在 shortcuts.xml 中声明 <capability> 标记来启用对 App Actions 的支持。Capability 告诉 Google 如何使用 BII 语义化访问您的应用内功能,并为您的功能启用语音支持。助理通过将您的应用启动到指定内容或操作来满足用户意图。对于某些用例,您可以指定一个 Android 微件以在助理中显示,以满足用户查询。

App Actions 支持 Android 5(API 级别 21)及更高版本。用户只能在 Android 手机上访问 App Actions。Android Go 上的助理不支持 App Actions。

App Actions 的工作原理

App Actions 将您的应用内功能扩展到助理,使用户能够通过语音访问您应用的功能。当用户调用 App Action 时,助理会将查询与您 shortcuts.xml 资源中声明的 BII 进行匹配,从而将您的应用启动到请求的屏幕或显示 Android 微件。

您可以使用 Android Capability 元素在应用中声明 BII。当您使用 Google Play 管理中心上传您的应用时,Google 会注册您应用中声明的 Capability,并将其提供给用户,以便用户可以从助理访问它们。

例如,您可以在应用中提供一个用于开始锻炼的 Capability。当用户说出“Hey Google,在示例应用中开始跑步。”时,会发生以下步骤:

  • 助理对查询执行自然语言分析,将请求的语义与 BII 的预定义模式进行匹配。在这种情况下,actions.intent.START_EXERCISE BII 与该查询匹配。
  • 助理会检查您的应用是否已注册该 BII,并使用该配置来确定如何启动它。
  • 助理会使用您在 <capability> 中提供的信息,生成一个 Android Intent 来启动请求的应用内目标。助理会提取查询的参数,并将其作为附加项传递到生成的 Android Intent 中。
  • 助理通过启动生成的 Android Intent 来满足用户请求。您可以配置该 intent 以启动应用中的屏幕或在助理中显示微件。
When a user provides a query to Google Assistant, Assistant responds
            by launching an app destination for the user.
图 1. App Actions 用户查询流程示例。

用户完成任务后,您可以使用 Google 快捷方式集成库将操作及其参数的动态快捷方式推送到 Google,从而使助理能够在上下文相关的时机向用户建议该快捷方式。

使用此库可让您的快捷方式在 Google 界面(如助理)上可供发现和重播。例如,您可以在乘车共享应用中,为用户请求的每个目的地向 Google 推送一个快捷方式,以便稍后快速重播作为快捷方式建议。

构建 App Actions

App Actions 基于 Android 应用中的现有功能构建。您实现的每个 App Action 的过程都类似。App Actions 使用您在 shortcuts.xml 中指定的 capability 元素,将用户直接带到应用中的特定内容或功能。

构建 App Action 时,第一步是识别您希望允许用户从助理访问的 Activity。然后,利用这些信息,从 App Actions BII 参考文档中找到最匹配的 BII。

BII 模拟了用户表达他们希望使用应用完成的任务或寻求的信息的一些常见方式。例如,BII 存在于开始锻炼、发送消息和在应用内搜索等操作中。BII 是开始使用 App Actions 的最佳方式,因为它们以多种语言模拟用户查询的常见变体,使您能够轻松快速地为应用启用语音功能。

确定要实现的应用内功能和 BII 后,您可以在 Android 应用中添加或更新 shortcuts.xml 资源文件,将 BII 映射到您的应用功能。在 shortcuts.xml 中定义为 capability 元素的 App Actions 描述了每个 BII 如何解决其实现,以及提取哪些参数并将其提供给您的应用。

开发 App Actions 的一个重要部分是将 BII 参数映射到您定义的功能实现中。此过程通常采用将应用内功能的预期输入映射到 BII 的语义参数的形式。

测试 App Actions

在开发和测试期间,您可以使用 Android Studio 的 Google 助理插件为您的 Google 帐号在助理中创建 App Actions 预览。此插件可帮助您在提交部署之前测试 App Action 如何处理各种参数。在测试工具中生成 App Action 预览后,您可以直接从测试工具窗口在测试设备上触发 App Action。

媒体应用

助理还提供内置功能,可理解媒体应用命令,例如“Hey Google,播放 Beyonce 的歌曲,”并支持媒体控制,例如暂停跳过快进点赞

后续步骤

按照App Actions 路线图,使用我们的 Android 示例应用构建 App Action。然后,继续阅读我们的指南,了解如何为您的应用构建 App Actions。您还可以探索以下其他资源来构建 App Actions: