iOS 17.2 Beta 版本的更新让我们能够通过手机(iPhone 15 Pro 系列)拍摄 Apple Vision Pro 空间视频,在 6 月份 WWDC 2023 开发者大会上, 同时公布了对空间视频格式的编解码SDK 支持。本文主要用官方 SDK(Video Toolbox) 对手机拍摄的空间视频进行编解码分析。 关于MV-HEVC Apple Vision Pro 的空间视频采用 MV-...
实际上3D-HEVC,MV-HEVC以及Scalable HEVC有一样的层间预测技术,都可以抽取出base view码流,且能用支持Main profile的HEVC解码器来解码。而3D-HEVC里还可以抽取出MV-HEVC的码流,因为MV-HEVC加上Depth信息就是3D-HEVC,而HEVC加上delta信息就是MV-HEVC。 最后,再来看一下MV-HEVC名字里的view具体是什么? view表示...
2023年6月6日,备受全球科技圈瞩目的Apple Vision Pro在苹果全球开发者大会(WWDC)上正式发布,宣称通过对MV-HEVC编码标准的硬件编解码支持,显著提升了3D视频主客观体验。一时间,很多开发者都在搜索,MV-HEVC又是什么,跟传统的基于HEVC的3D编码有什么区别? 3D成像技术简介 在我们的日常生活中,视频已经成为了一种无处...
使用苹果官方的Video Toolbox SDK来检查当前平台是否支持空间视频的编解码功能。读取空间视频：通过适当的接口读取iPhone 15 Pro系列或Vision Pro拍摄的空间视频文件。查看视频格式描述：检查视频的格式描述，获取与空间视频及其拍摄设备相关的重要信息，如是否采用MVHEVC编码。使用Video Toolbox解码：利用Video T...
NVIDIA 宣布在最新的 NVIDIA 视频编解码器 SDK 版本 13.0 中实施多视图高效视频编码 (MV-HEVC) 编码器。这一重要更新标志着硬件加速的多视图视频压缩技术实现了重大飞跃。与 simulcast 编码相比,它为立体和 3D 视频应用提供了更高的压缩效率和质量。
实际上3D-HEVC,MV-HEVC以及Scalable HEVC有一样的层间预测技术,都可以抽取出base view码流,且能用支持Main profile的HEVC解码器来解码。而3D-HEVC里还可以抽取出MV-HEVC的码流,因为MV-HEVC加上Depth信息就是3D-HEVC,而HEVC加上delta信息就是MV-HEVC。
Video Toolbox进行MV-HEVC编码的流程与解码过程类似。通过以上方法，用户可以将其他设备所拍摄的SBS立体视频文件编码为Vision Pro支持的MV-HEVC空间视频格式。本文主要总结记录了使用苹果官方SDK（Video Toolbox）对iPhone和Vision Pro支持的空间视频格式进行编解码操作的方法。在这一标准和开发工具的支持下，...
目前,Apple Vision Pro搭载的芯片通过固件层优化已经实现了对MV-HEVC码流的硬解支持。业务团队可以对自研HEVC解码器引入MV-HEVC扩展解码能力支持,并将其适配ffmpeg,用户便可通过ffmpeg调用相关解码器解码MV-HEVC 3D视频流。 参考资料:https://mp.weixin.qq.com/s/RZUNiQv76mfc4zYcwJnD1w ...
MV-HEVC是一种视频编码标准,它主要用于编码和传输多视图视频,即在同一帧中保存多个画面信息。以空间视频为例,每一帧都保存了左、右双眼的画面信息。与传统的双目画面并排显示(Side by Side, SBS)方式不同,MV-HEVC通过主视图(Hero Eye)和辅助视图差别信息的方式存储,这样既可以更好地提升存储效率,同时也为后续的...
实际上3D-HEVC，MV-HEVC以及Scalable HEVC有一样的层间预测技术，都可以抽取出base view码流，且能用支持Main profile的HEVC解码器来解码。而3D-HEVC里还可以抽取出MV-HEVC的码流，因为MV-HEVC加上Depth信息就是3D-HEVC，而HEVC加上delta信息就是MV-HEVC。最后，再来看一下MV-HEVC名字里的view具体是...