在受支持的Android 驱动的设备上，您可以提供丰富的生成式 AI 体验，而无需网络连接或将数据发送到云端。设备上的 AI 非常适合低延迟、低成本和隐私保护是主要关注点的用例。
对于设备上的用例，您可以利用 Google 的 Gemini Nano 基础模型。虽然它比在云端运行推理的其他 Gemini 模型更小，但您可以微调 Gemini Nano 以执行与其大型对应模型一样专业的任务。Gemini Nano 在 Android 的 AICore 系统服务中运行，该服务利用设备硬件实现低推理延迟并使模型保持最新状态。
Google AI Edge SDK 提供对 Gemini Nano API 和 AICore 的访问。Google AI Edge 是一套全面的设备上 ML 工具。详细了解 Google AI Edge。
架构
作为系统级模块，您可以通过一系列 API 访问 AICore 以在设备上运行推理。此外，AICore 还具有多个内置安全功能，确保根据我们的安全过滤器进行彻底的评估。下图概述了应用如何访问 AICore 以在设备上运行 Gemini Nano。
保护用户数据隐私和安全
设备上的生成式 AI 在本地执行提示，从而消除了服务器调用。这种方法通过将敏感数据保存在设备上增强了隐私，实现了离线功能并降低了推理成本。
AICore 遵循私有计算核心原则，具有以下关键特征
受限包绑定：AICore 与大多数其他包隔离，特定系统包除外。对此允许列表的任何修改只能在完整的 Android OTA 更新期间进行。
间接互联网访问：AICore 没有直接的互联网访问权限。所有互联网请求（包括模型下载）都通过开源的私有计算服务配套 APK 路由。私有计算服务中的 API 必须明确证明其以隐私为中心的特性。
此外，AICore 旨在隔离每个请求，并且在处理完输入数据或结果输出后不会存储任何记录，以保护用户隐私。阅读博文Gemini Nano 的隐私和安全简介以了解更多信息。
使用 AICore 访问 AI 基础模型的好处
AICore 使 Android 操作系统能够提供和管理 AI 基础模型。这大大降低了在您的应用中使用这些大型模型的成本，主要原因如下
易于部署：AICore 管理 Gemini Nano 的分发并处理将来的更新。您无需担心通过网络下载或更新大型模型，也不会影响应用的磁盘和运行时内存预算。
加速推理：AICore 利用设备上的硬件来加速推理。您的应用在每台设备上都能获得最佳性能，而您无需担心底层硬件接口。
支持的功能
AICore 支持以下设备和模式
- 支持的设备：AICore 目前在 Pixel 9 系列设备、Google Pixel 8 系列设备（包括 Pixel 81 和 Pixel 8a2）、三星 S24 系列设备、三星 Z Fold6、三星 Z Flip6、Realme GT 6、摩托罗拉 Edge 50 Ultra、摩托罗拉 Razr 50 Ultra、小米 14T/Pro 和小米 MIX Flip 上可用。
- 支持的模式：AICore 目前支持 Gemini Nano 的文本模式。
正在积极投资增加设备和模式支持。
用例
由于与云服务器相比，移动设备的资源有限，因此设备上的生成式 AI 模型的设计重点是效率和规模。这种优化优先考虑特定且定义明确的任务，而不是更通用的应用。合适的用例包括
- 文本改写：修改文本的语气和风格（例如，从非正式到正式）。
- 智能回复：在聊天线程中生成上下文相关的回复。
- 校对：识别并纠正拼写和语法错误。
- 摘要：将冗长的文档浓缩成简洁的摘要（段落或要点）。
为了获得最佳性能，请参阅提示策略文档。要亲身体验这些用例，请下载我们的示例应用并开始使用 Gemini Nano 进行实验。
Gemini Nano 被多个 Google 应用使用。一些示例包括
- Talkback：Android 的无障碍应用Talkback 利用 Gemini Nano 的多模态输入功能来改进视障用户的图像描述。
- Pixel 语音录音机：Pixel 语音录音机 应用使用 Gemini Nano 和 AICore 为设备上的摘要功能提供支持。录音机团队采用了最新的 Gemini Nano 模型来支持更长的录音并提供更高质量的摘要。
- Gboard：Gboard 智能回复利用设备上的 Gemini Nano 和 AICore 提供准确的智能回复。