支持的格式

在定义 ExoPlayer 支持的格式时,务必注意“媒体格式”是在多个级别定义的。从最低级别到最高级别,它们分别是

  • 单个媒体样本(例如视频帧或音频帧)的格式。这些是样本格式。请注意,典型的视频文件将包含至少两种样本格式的媒体;一种用于视频(例如,H.264),另一种用于音频(例如,AAC)。
  • 容纳媒体样本和相关元数据的容器的格式。这些是容器格式。媒体文件具有单个容器格式(例如,MP4),通常由文件扩展名指示。请注意,对于某些仅音频的格式(例如,MP3),样本格式和容器格式可能相同。
  • 自适应流技术,例如 DASH、SmoothStreaming 和 HLS。这些本身并非媒体格式,但仍然需要定义 ExoPlayer 提供的支持级别。

以下各节按从高到低的顺序定义 ExoPlayer 在每个级别的支持。最后两节描述了对独立字幕格式和 HDR 视频播放的支持。

自适应流

DASH

ExoPlayer 支持 DASH 且兼容多种容器格式。媒体流必须进行解复用,这意味着视频、音频和文本必须在 DASH 清单中定义为不同的 AdaptationSet 元素(CEA-608 是一个例外,如下表所述)。包含的音频和视频样本格式也必须受支持(有关详细信息,请参阅 样本格式 部分)。

功能 是否支持 注释
容器
FMP4 仅支持解复用流
WebM 仅支持解复用流
Matroska 仅支持解复用流
MPEG-TS 暂不计划支持
隐藏字幕/字幕
TTML 原始格式,或根据 ISO/IEC 14496-30 嵌入到 FMP4 中
WebVTT 原始格式,或根据 ISO/IEC 14496-30 嵌入到 FMP4 中
CEA-608 使用 SCTE Accessibility 描述符进行信号传输时,嵌入到 FMP4 中
CEA-708 使用 SCTE Accessibility 描述符进行信号传输时,嵌入到 FMP4 中
元数据
EMSG 元数据 嵌入到 FMP4 中
内容保护
Widevine "cenc" 方案:API 19+;"cbcs" 方案:API 25+
PlayReady SL2000 Android TV,仅支持 "cenc" 方案
ClearKey API 21+,仅支持 "cenc" 方案
直播播放
常规直播播放
超低延迟 CMAF 直播播放
通用媒体客户端数据 (CMCD) 集成指南

SmoothStreaming

ExoPlayer 支持使用 FMP4 容器格式的 SmoothStreaming。媒体流必须进行解复用,这意味着视频、音频和文本必须在 SmoothStreaming 清单中定义为不同的 StreamIndex 元素。包含的音频和视频样本格式也必须受支持(有关详细信息,请参阅 样本格式 部分)。

功能 是否支持 注释
容器
FMP4 仅支持解复用流
隐藏字幕/字幕
TTML 嵌入到 FMP4 中
内容保护
PlayReady SL2000 仅限 Android TV
直播播放
常规直播播放
通用媒体客户端数据 (CMCD) 集成指南

HLS

ExoPlayer 支持使用多种容器格式的 HLS。包含的音频和视频样本格式也必须受支持(有关详细信息,请参阅 样本格式 部分)。我们强烈建议 HLS 内容制作方生成高质量的 HLS 流,如 此处 所述。

功能 是否支持 注释
容器
MPEG-TS
FMP4/CMAF
ADTS (AAC)
MP3
隐藏字幕/字幕
CEA-608
CEA-708
WebVTT
元数据
ID3
SCTE-35
内容保护
AES-128
示例 AES-128
Widevine API 19+("cenc" 方案)和 25+("cbcs" 方案)
PlayReady SL2000 仅限 Android TV
服务器控制
增量更新
阻止播放列表重新加载
阻止预加载提示的加载 除了长度未定义的字节范围
直播播放
常规直播播放
低延迟 HLS(Apple)
低延迟 HLS(社区)
通用媒体客户端数据 (CMCD) 集成指南

渐进式容器格式

ExoPlayer 可以直接播放以下容器格式中的流。包含的音频和视频样本格式也必须受支持(有关详细信息,请参阅 样本格式 部分)。有关图像容器和格式支持,请参阅 图像

容器格式 是否支持 注释
MP4
M4A
FMP4
WebM
Matroska
MP3 某些流仅支持使用恒定比特率查找**
Ogg 包含 Vorbis、Opus 和 FLAC
WAV
MPEG-TS
MPEG-PS
FLV 不支持查找*
ADTS (AAC) 仅支持使用恒定比特率查找**
FLAC 使用 FLAC 库ExoPlayer 库 中的 FLAC 提取器***
AMR 仅支持使用恒定比特率查找**

* 由于容器不提供元数据(例如,样本索引)以允许媒体播放器以有效的方式执行查找,因此不支持查找。如果需要查找,我们建议使用更合适的容器格式。

** 这些提取器具有 FLAG_ENABLE_CONSTANT_BITRATE_SEEKING 标志,用于启用使用恒定比特率假设的近似查找。默认情况下,此功能未启用。为所有支持它的提取器启用此功能的最简单方法是使用 DefaultExtractorsFactory.setConstantBitrateSeekingEnabled,如 此处 所述。

*** FLAC 库 提取器输出原始音频,框架可以在所有 API 级别上处理该音频。 ExoPlayer 库 FLAC 提取器输出 FLAC 音频帧,因此依赖于具有 FLAC 解码器(例如,处理 FLAC 的 MediaCodec 解码器(从 API 级别 27 开始需要),或启用了 FLAC 的 FFmpeg 库)。如果应用程序使用 FLAC 库 构建,则 DefaultExtractorsFactory 将使用扩展提取器。否则,它将使用 ExoPlayer 库 提取器。

RTSP

ExoPlayer 支持实时和按需 RTSP。下面列出了受支持的样本格式和网络类型。

支持的样本格式

  • H264(SDP 媒体描述必须在 fmtp 属性中包含 SPS/PPS 数据以进行解码器初始化)。
  • AAC(使用 ADTS 比特流)。
  • AC3。

支持的网络类型

  • 通过 UDP 单播的 RTP(不支持多播)。
  • 交错 RTSP,通过 TCP 使用 RTSP 的 RTP。

样本格式

默认情况下,ExoPlayer 使用 Android 的平台解码器。因此,支持的样本格式取决于底层平台,而不是 ExoPlayer。请参阅 支持的媒体格式,了解 Android 设备支持的样本格式的文档。请注意,各个设备可能支持超出列表中的其他格式。

除了 Android 的平台解码器之外,ExoPlayer 还可以使用软件解码器扩展。这些必须手动构建并包含在希望使用它们的项目中。我们目前提供用于 AV1VP9FLACOpusFFmpeg 的软件解码器库。

FFmpeg 库

FFmpeg 库 支持解码各种不同的音频样本格式。您可以在构建库时选择要包含哪些解码器,如库的 README.md 中所述。下表提供了音频样本格式到相应 FFmpeg 解码器名称的映射。

样本格式 解码器名称
Vorbis vorbis
Opus opus
FLAC flac
ALAC alac
PCM μ-law pcm_mulaw
PCM A-law pcm_alaw
MP1、MP2、MP3 mp3
AMR-NB amrnb
AMR-WB amrwb
AAC aac
AC-3 ac3
E-AC-3 eac3
DTS、DTS-HD dca
TrueHD mlp truehd

图像

ExoPlayer 支持以下图像格式。有关如何与可能支持不同格式集的外部库集成的信息,请参阅 图像加载库

图像格式 是否支持 注释
BMP
GIF 无提取器支持
JPEG
JPEG 运动照片 支持静止图像和视频
JPEG 超高清 HDR 在 Android 14 之前或非 HDR 显示屏上回退到 SDR
PNG
WebP
HEIF/HEIC
HEIC 运动照片 部分 仅支持静止图像*
AVIF(基线) 仅在 Android 14+ 上解码

* 可以使用 MetadataRetriever 获取 HEIC 运动照片的视频部分,并将其作为独立文件播放。

独立字幕格式

ExoPlayer 支持各种格式的独立字幕文件。可以根据 媒体项目页面 中的说明,侧载字幕文件。

容器格式 是否支持 MIME 类型
WebVTT MimeTypes.TEXT_VTT
TTML / SMPTE-TT MimeTypes.APPLICATION_TTML
SubRip MimeTypes.APPLICATION_SUBRIP
SubStationAlpha (SSA/ASS) MimeTypes.TEXT_SSA

HDR 视频播放

ExoPlayer 处理在各种容器中提取高动态范围 (HDR) 视频,包括 MP4 中的杜比视界和 Matroska/WebM 中的 HDR10+。HDR 内容的解码和显示取决于 Android 平台和设备的支持。请参阅 HDR 视频播放,了解有关检查 HDR 解码/显示功能以及跨 Android 版本的 HDR 支持限制的信息。

在播放需要特定编解码器配置文件支持的 HDR 流时,ExoPlayer 的默认 MediaCodec 选择器将选择支持该配置文件的解码器(如果可用),即使同一 MIME 类型的另一个不支持该配置文件的解码器在编解码器列表中排名更高。这可能导致在流超出同一 MIME 类型的硬件解码器功能的情况下选择软件解码器。