Gemini Nano 的 Google AI 边缘 SDK

在 Android 上，您可以提供丰富的生成式 AI 体验，而无需网络连接或将数据发送到云端。对于主要关注低延迟、低成本和隐私保护的用例，设备端 AI 是一个极佳的解决方案。

对于设备端用例，您可以利用 Google 的 Gemini Nano 基础模型。虽然它比在云端运行推理的其他 Gemini 模型更小，但您可以微调 Gemini Nano 以执行其大型对应模型所能执行的专业化任务。 Gemini Nano 在 Android 的 AICore 系统服务中运行，该服务利用设备硬件实现低推理延迟并使模型保持最新状态。

Gemini Nano 和 AICore 可在 Google Pixel 9 系列设备、Pixel 8 Pro、Pixel 8¹、Pixel 8a² 和三星 S24 系列设备上使用，并很快会支持更多产品。

Google AI 边缘 SDK 提供对 Gemini Nano API 和 AICore 的访问。Google AI 边缘是一套用于设备端 ML 的全面工具。 详细了解 Google AI 边缘。

架构

作为系统级模块，您可以通过一系列 API 访问 AICore 以在设备上运行推理。您还可以提供 LoRA 微调块以进一步优化 Gemini Nano 在您的应用中的性能。此外，AICore 具有多个内置安全功能，确保根据我们的安全过滤器进行彻底评估。下图概述了应用如何访问 AICore 以在设备上运行 Gemini Nano。

保护用户数据隐私和安全

AICore 遵循私有计算核心原则，具有以下主要特征

受限包绑定：AICore 与大多数其他包隔离，除了特定系统包的一些例外情况。对此允许列表的任何修改只能在 Android 全面 OTA 更新期间进行。

间接互联网访问：AICore 没有直接的互联网访问权限。所有互联网请求（包括模型下载）都通过开源私有计算服务配套 APK 路由。私有计算服务中的 API 必须明确证明其以隐私为中心的性质。

使用 AICore 访问 AI 基础模型的优势

AICore 使 Android 操作系统能够提供和管理 AI 基础模型。这极大地降低了在您的应用中使用这些大型模型的成本，主要原因如下

易于部署：AICore 管理 Gemini Nano 的分发并处理未来的更新。您无需担心通过网络下载或更新大型模型，也不会影响应用的磁盘和运行时内存预算。

加速推理：AICore 利用设备端硬件来加速推理。您的应用在每台设备上都能获得最佳性能，您无需担心底层硬件接口。

支持的功能

AICore 支持以下设备和模式

• 支持的设备：AICore 目前可在 Google Pixel 8 Pro 和三星 S24 系列设备上使用。
• 支持的模式：AICore 目前支持 Gemini Nano 的文本模式。

设备和模式的支持正在积极扩展中。

用例

您可以通过 AICore 使用 Gemini Nano 完成以下一些任务

• AI 增强的内容消费：文本摘要、问答和实体提取。
• AI 辅助的内容生成：校对、语法纠正、写作辅助和上下文智能回复。
• 文本分类：情感检测或情绪分析
• 隐私：解锁生成式 AI 用例以用于关注隐私的应用

包括 Pixel 语音录制器和 Gboard 在内的多个 Google 产品已在 Pixel 上使用 AICore。

Pixel 语音录制器

Pixel 语音录制器应用使用 Gemini Nano 和 AICore 为设备端摘要功能提供支持。

Gboard 智能回复

Gboard 利用设备端 Gemini Nano 和 AICore 提供准确的智能回复。