4月18日,腾讯会议推出国内首个裸眼3D视频会议解决方案,并首次亮相与生态伙伴合作研发的视频会议舱原型机。
据介绍,该技术基于腾讯会议与香农实验室共建的光场采集与三维重建技术,以及腾讯会议底层通讯链路和天籁实验室的空间音频技术,会议舱能够对通话人员进行高保真的空间音频和视频进行采集。
在实际体验中,两端的用户只需进入会议舱,无需佩戴任何辅助设备,无固定角度限制,设备即可自动追踪观看者的眼睛,瞬间呈现3D效果,不仅可以看到对方,还能体验到对方的空间位置和动作。
在接收端,通过解析参会者间的相对位置关系,并运用发丝级三维重建与高性能神经渲染技术,我们实现了人物的实时建模以及声场重建,再配合与硬件厂商深度定制合作的裸眼3D屏幕,实现具有移动视差的立体渲染与声场渲染,为用户打造触手可及的沉浸式通话体验。
该技术同时具备双目视差和移动视差,观看者除了能体验到出屏的立体感,同时也可以通过左右移动看到不同视角的立体内容。
在这项技术的研发上,腾讯会议突破了在有限带宽下高精度的场景实时重建,有效解决了边缘抖动问题,从而实现了在消费级硬件和网络环境上为用户呈现出高分辨率、高帧率的沉浸式3D视觉体验。