将空间视频添加到您的应用

Jetpack XR SDK 支持在平面上播放立体声 并排视频。立体视频的每一帧都包含左眼和右眼图像,以给观看者带来深度感,也称为*立体视觉*。

您可以使用适用于其他尺寸设备 Android 开发的标准媒体 API,在 Android XR 应用上渲染非立体声 2D 视频。

使用 Jetpack SceneCore 播放并排视频

对于并排视频,每个立体帧显示为水平相邻排列的两幅图像。上下排列的视频帧则垂直相邻排列。

并排视频不是编解码器,而是一种组织立体帧的方式,这意味着它可以使用 Android 支持的任何编解码器进行编码。

您可以使用 Media3 Exoplayer 加载并排视频,然后使用新的 SurfaceEntity 进行渲染。如以下示例所示,调用 SurfaceEntity.create 即可创建 SurfaceEntity

val stereoSurfaceEntity = SurfaceEntity.create(
    xrSession,
    SurfaceEntity.StereoMode.SIDE_BY_SIDE,
    Pose(Vector3(0.0f, 0.0f, -1.5f)),
    SurfaceEntity.CanvasShape.Quad(1.0f, 1.0f)
)
val videoUri = Uri.Builder()
    .scheme(ContentResolver.SCHEME_ANDROID_RESOURCE)
    .path("sbs_video.mp4")
    .build()
val mediaItem = MediaItem.fromUri(videoUri)

val exoPlayer = ExoPlayer.Builder(this).build()
exoPlayer.setVideoSurface(stereoSurfaceEntity.getSurface())
exoPlayer.setMediaItem(mediaItem)
exoPlayer.prepare()
exoPlayer.play()

使用 Jetpack SceneCore 播放 MV-HEVC 视频

MV-HEVC 编解码器标准经过优化并专为立体视频设计,可让您的应用高效地以高画质播放沉浸式视频。MV-HEVC 文件有一个主视频流(通常是左眼)和一个包含另一只眼睛的立体视频流。

与并排视频类似,您可以使用 Media3 Exoplayer 加载 MV-HEVC 视频,并使用 SurfaceEntity 渲染它。在调用 SurfaceEntity.create 时,您需要通过 stereoMode 参数指定 MV-HEVC 文件是左眼主视频流还是右眼主视频流。

// Create the SurfaceEntity with the StereoMode corresponding to the MV-HEVC content
val stereoSurfaceEntity = SurfaceEntity.create(
    xrSession,
    SurfaceEntity.StereoMode.MULTIVIEW_LEFT_PRIMARY,
    Pose(Vector3(0.0f, 0.0f, -1.5f)),
    SurfaceEntity.CanvasShape.Quad(1.0f, 1.0f)
)
val videoUri = Uri.Builder()
    .scheme(ContentResolver.SCHEME_ANDROID_RESOURCE)
    .path("mvhevc_video.mp4")
    .build()
val mediaItem = MediaItem.fromUri(videoUri)

val exoPlayer = ExoPlayer.Builder(this).build()
exoPlayer.setVideoSurface(stereoSurfaceEntity.getSurface())
exoPlayer.setMediaItem(mediaItem)
exoPlayer.prepare()
exoPlayer.play()

使用 Jetpack SceneCore 播放 180 度和 360 度视频

SurfaceEntity 支持在半球形曲面上播放 180° 视频,并在球形曲面上播放 360° 视频。radius 参数默认指代相应曲面的径向大小(以米为单位)。

以下代码展示了如何设置 SurfaceEntity 以在 180° 半球和 360° 球体上播放。使用这些画布形状时,请通过利用用户的头部姿态来定位曲面,以提供沉浸式体验。

// Set up the surface for playing a 180° video on a hemisphere.
val hemisphereStereoSurfaceEntity =
    SurfaceEntity.create(
        xrSession,
        SurfaceEntity.StereoMode.SIDE_BY_SIDE,
        xrSession.scene.spatialUser.head?.transformPoseTo(
            Pose.Identity,
            xrSession.scene.activitySpace
        )!!,
        SurfaceEntity.CanvasShape.Vr180Hemisphere(1.0f),
    )
// ... and use the surface for playing the media.

// Set up the surface for playing a 360° video on a sphere.
val sphereStereoSurfaceEntity =
    SurfaceEntity.create(
        xrSession,
        SurfaceEntity.StereoMode.TOP_BOTTOM,
        xrSession.scene.spatialUser.head?.transformPoseTo(
            Pose.Identity,
            xrSession.scene.activitySpace
        )!!,
        SurfaceEntity.CanvasShape.Vr360Sphere(1.0f),
    )
// ... and use the surface for playing the media.

使用 Jetpack Compose for XR 播放空间视频

如果您想了解如何使用 Jetpack Compose for XR 播放视频,请学习如何为图片或视频内容添加图面