超高清视音频技术是元宇宙的底层基础技术之一,元宇宙的应用离不开超高清视音频技术的支撑,这既给超高清视音频技术带来新的挑战,也将推动超高清视音频技术发展进入新的阶段。
2023年3月30日,由中国移动咪咕公司联合中国移动研究院、中兴通讯股份有限公司牵头,中国信息通信研究院、腾讯计算机系统有限公司、华为技术有限公司、中国电子技术标准化研究院、工业和信息化部电子第五研究所、深圳思谋信息科技有限公司、凌云光技术股份有限公司、北京全景声信息科技有限公司、广州视源电子科技股份有限公司、北京数码视讯科技股份有限公司、杭州当虹科技股份有限公司、中国移动通信集团终端有限公司、杭州海康威视数字技术股份有限公司、上海交通大学、中央广播电视总台、国家广播电视总局广播电视规划院、中国电信集团有限公司、深圳市奥拓电子股份有限公司、深圳市洲明科技股份有限公司、北京流金岁月传媒科技股份有限公司等24家单位参与编制的世界超高清视频产业联盟(UWA联盟)《元宇宙时代超高清视音频技术白皮书》在第十届中国网络视听大会上发布。UWA联盟秘书长张文刚在会上对白皮书进行了解读。
元宇宙的时代背景
元宇宙作为信息技术革命的未来图景,是网络强国和数字中国拼图的重要板块,也必然是实现中国式现代化,推动构建人类命运共同体,创造人类文明新形态的物质基础。元宇宙是技术聚合体、产业聚合体和生态聚合体,其背后是实实在在的技术集群、产业集群和用户需求。
元宇宙将触发超高清视音频用户体验增量跃迁与技术产业持续演进。当前大众对美好生活的进阶需求对数字内容的体验方式提出了新要求,分辨率、高动态范围等视听质量维度的常规迭代难以带来用户体验的增量跃升。在元宇宙概念下,超高清数字内容既需要做到让大众有明显感知,又能引领生活方式变革与产业结构创新,现实时空与数字时空不再彼此分割,在虚实融合的互联时空下,未来超高清视音频生态的构建有赖于传统视音频向沉浸式、交互性与多维化方向发展演进。
元宇宙时代超高清视音频技术新需求
从零售、泛娱乐、文旅游戏、社交、教育、政务、工业等元宇宙典型场景入手分析,为满足视觉、听觉以及触觉方面的体验要求,对超高清视音频技术在沉浸式视听体验、实时多维互动、高效内容生产和用户大规模在线等四个方面都有新的需求:
一、沉浸式视听体验:传统二维视音频升级势在必行。从内容生产、高效编码,到沉浸式影像的传输与呈现等方面技术演进,实现虚拟与现实融合的沉浸式体验;
二、实时多维互动:元宇宙还需要强交互,这对交互的自由度、实时性及多模态等方面提出了更高的要求;
三、高效内容生产:元宇宙时空构建,需要大量的内容,这就需要提升现有的内容生产效率。
实时及大规模用户名在线:元宇宙的场景中大规模的用户可同时在线并进行实时互动,这对视音频的处理、通信、呈现等实时性、兼容性有较高的要求。
未来超高清视音频生态的构建有赖于传统视音频向沉浸式、交互性与多维化的方向发展演进。
元宇宙时代超高清视音频核心关键技术
视音频技术是元宇宙产业应用的基石,其发展需要在单点技术的发展基础上,融合多种关联技术,形成针对横向技术栈的端到端解决方案,实现元宇宙时代视音频技术的有效连接和共同发展。白皮书给出了面向元宇宙时代的超高清视音频技术体系,基于元宇宙时代的技术需求面向超高清的端到端流程,详细分析了包括内容生成、内容编码、网络传输、内容解码、交互与呈现、用户体验及版权保护各个模块面向元宇宙时代关键技术升级和前沿研究。以内容生成为例,其中内容采集环节涵盖了最先进的面向元宇宙场景的数字人、场地、三维声等采集技术;内容制作环节则包括了具有三维立体和实时交互的特性视音频内容制作,例如支持6Dof交互的如点云视频制作、光场视频制作等前沿技术;模型制作,包括3D人和物的建模、模型驱动、实时渲染等,都是面向元宇宙时代的新技术发展方向。研究探讨视音频关键技术簇,对于提升元宇宙的视听体验,具有重要的技术支撑作用。
元宇宙时代超高清视音频技术标准体系
元宇宙时代视音频技术涉及非常丰富的业务应用场景,视音频技术作为元宇宙的基础技术,不同的场景有视音频相关的新技术需求。根据本白皮书中分析的元宇宙时代超高清视音频技术现状及发展趋势,从视音频采集、制作、传输、呈现、应用等各环节分析当前国内外的标准化现状,提取出标准化需求,针对包括基础通用、内容生成、媒体传输与处理、交互呈现、行业应用五个方面,给出了元宇宙时代超高清视音频技术体系框架和标准化建议,为未来的标准化工作指引方向。
元宇宙的本质是建构原生于物理时空且与之交融的数字时空,时空的构建离不开超高清视音频技术的进一步发展。《元宇宙时代超高清视音频技术白皮书》是超高清视音频领域面向元宇宙时代的首个技术白皮书,旨在探索超高清视音频技术的元宇宙发展方向,从面向元宇宙场景的超高清视音频技术需求出发,分析了元宇宙时代端到端超高清视音频相关的关键技术及发展趋势,并针对元宇宙下的超高清视音频技术提出了标准化体系建议,这将推动超高清视音频产业更好更快的发展,助力数字经济蓬勃发展。
特别感谢中国移动咪咕公司及所有参编单位在白皮书撰写过程中做出的贡献。