Audio Vivid,中文名称为 “菁彩声”,是全球首个基于 AI 技术的音频编解码标准。该标准由世界超高清视频产业联盟(UWA 联盟)发布。
一、发展历程
· 诞生背景:音频技术随着人们对声音还原和品质的不断追求以及科技的创新而不断发展。从历史上第一台机械留声机的出现,发展到光学唱片、磁性录音和电子录音;从单声道发展到立体声、环绕声、三维声;音频处理技术从基于纯电子技术发展到和人工智能等最新处理技术的结合,依然处于不断发展中。从用户受众角度来看,近年来,随着超高清新技术(高分辨率、高帧率、高色深、宽色域、高动态范围、三维声)的不断演进,人们对“真实”、“沉浸”的音视频体验不断得以提升。三维声技术作为超高清体验的重要组成部分,带来空间感、方位感、高还原度、高沉浸度,带给观众更具感染力的临场感、个性化和交互体验。从产业发展角度,音频与视频产业的协同发展开始提速。如电视机发展从标清电视与立体声音频、高清电视与环绕声音频发展到超高清电视与三维声沉浸式音频配套发展;同时户外大屏也同步配套三维声技术,大力推动了产业的整体发展。因此现阶段抓住发展机遇,提升音频表现能力,快速追赶国际先进水平,同时也加快满足人们对高质量音频内容消费的需求,进而提升产业促进发展。因此,三维声技术的推广具有重要的经济和社会效应。
· 重要节点:2022 年4月,UWA联盟Audio Vivid (菁彩声)团体标准发布,开始逐渐进入公众视野,并在一些重大活动中成功应用。例如,在 2022 年卡塔尔世界杯的转播中,Audio Vivid(菁彩声)与 HDR Vivid(菁彩影像) 技术共同为观众带来了 “声画双超高清” 的观赛体验。此后,该标准在影视、音乐等领域不断得到推广和应用。
· 2023年2月3日,国家广播电视总局发布《三维声编解码及渲染》(GY/T 363-2023)行业标准。该标准定义了音频编解码过程,给出了扬声器渲染和双耳渲染的参考实现方法,适用于广播电视和网络视听领域三维声、环绕声信号的编解码及渲染,并以“Audio Vivid”(菁彩声)品牌名称开展产业化推广,也标志着Audio Vivid成为国家广电行业标准。
· 2025年1月17日,ITU-R在官网正式发布BS.2493最新版本,纳入Audio Vivid作为Annex 4章节内容,使其成为与Dolby AC-4、MPEG-H、DTS-UHD并列发布的3D音频标准,也是首个被国际标准组织纳入的新创标准。
· 持续发展:随着技术的不断进步和应用场景的不断拓展,Audio Vivid(菁彩声)标准也在不断地进行升级和优化。音频创作者和相关企业不断探索其在更多领域的应用,为用户带来更加丰富的音频体验。
二、技术特点
· 三维声相对传统声音增加了空间感和方位感,使听众能再现在现实世界中所听到的声音,从而满足人们对声音高度还原,高度沉浸的体验需求,同时可具备个性化选择和交互体验。
·
· 1.基于声道的实现方式
· 该种方式需要对声道进行配置,将每个声道的音源映射到指定扬声器。该方法的局限性是一种声道配置对应一种扬声器布局,一种声道配置下的音频渲染只有在对应扬声器布局下才能获得最佳效果。
·
· 2.基于声床+对象的实现方式
· 声床承载基本环境声,对象是一系列单声道音频元素和对应元数据的集合。元数据表示对象的位置,强度,大小等信息。在回放时根据元数据信息,将对象映射到一个或多个扬声器或者双耳化渲染到耳机播放,以达到想要的空间音频效果。
·
· 3.基于声场的实现方式
· 声音作为一种波的属性,按照声波进行传递。对于给定时间的声场,每点均可以通过多个声波场的压力函数来表示。当获得该空间中该点的压力值时,便可对空间中的声音进行重构。为了确保和提升基于声场的音频质量,需要对该点的压力函数的各个系数准确获取以提高声场空间系数的编码质量。Higher Order Ambisonics(HOA) 是一种定义在球体表面上的 3D 声场建模格式,可以在任何设备(如耳机、扬声器、音箱)上对声场实现准确捕获、处理和重构。HOA 系统性能随着 HOA 阶数的增加而增加,但 HOA 信号数量也随之增加,因此需要信号处理技术和能力不断增加,如 AI 等新技术的引入。
· 4.扬声器重放
· 三维声重放环境在三维声音频制作中发挥着重要作用。扬声器使用数量的多少在很大程度上影响着最佳听音的区域范围,如扬声器数量少,最佳听音的区域范围也就越小,两者呈正相关。
· 5.双耳渲染
· 三维声的重放也可以依托耳机得以实现。为此,为了使这一技术的性能和优势得以充分发挥和体现,这需要对以上三种三维声实现方式进行双耳渲染,从而使普通立体声耳机可以聆听三维声音频。双耳渲染技术更好的推动三维声的普及, 也是 VR/AR 场景三维声呈现的主要渲染技术。
三、应用场景
· 菁彩声(Audio Vivid)解决声音从构建到还原的整个环节,可在家庭环境、影院环境、个人、AR/VR 以及车载中得以应用。
四、产业生态
· 产业链合作:Audio Vivid (菁彩声)的发展离不开产业链各环节的支持和合作。包括音频内容制作商、音频设备制造商、流媒体平台等在内的众多企业和机构都积极参与到 Audio Vivid (菁彩声)的生态建设中,共同推动该技术的发展和应用。
· 内容创作与分发:越来越多的音频内容创作者开始使用 Audio Vivid (菁彩声)标准进行音频创作,为用户提供了丰富多样的菁彩声音频内容。同时,各大流媒体平台也纷纷支持 Audio Vivid (菁彩声)格式的音频播放和分发,方便用户获取和欣赏高质量的音频作品。
· 技术研发与创新:相关企业和科研机构不断加大对 Audio Vivid (菁彩声)技术的研发投入,推动技术的不断创新和升级。例如,在音频编码算法、音频渲染技术等方面的研究,将进一步提高 Audio Vivid (菁彩声)的音频质量和性能。
五、未来展望
随着人们对音频体验的要求不断提高,Audio Vivid (菁彩声)作为一种先进的音频技术标准,具有广阔的发展前景。未来,Audio Vivid (菁彩声)有望在更多的领域得到应用和推广,为用户带来更加丰富、逼真的音频体验。通过加快部署家庭影院,车载影音体验,个人影音体验,虚拟现实体验等业务,鼓
励内容制作行业,分发平台加快Audio Vivid(菁彩声)的标准内容制作和分发,加速在产业链构筑,推进行业演进,构筑未来超高清音视频产业的技术和人才基础。
六、生态建设情况
平台:喜马拉雅、云听、央视频、网易云音乐、腾讯视频、爱奇艺、芒果TV等提供200+万Audio Vivid菁彩声曲目。与环球音乐、华为音乐共同打造头部艺人Audio Vivid空间音频标杆体验,上线近2000首音乐作品。喜马拉雅使用Petal Vivid 制作有声书和休憩类声音产品;Audio Vivid成为原生音频能力,上线16部原生Audio Vivid有声书。云听提供“百城千屏”菁彩声伴音;央视频所有频道采用Audio Vivid菁彩声制作播出,投屏助手实现大小屏融合,推进超高清入户。咪咕视频具备双Vivid内容的制播能力,在大型体育赛事直播中应用Audio & HDR Vivid音视频技术。
晚会与赛事直播:2022 年中央广播电视总台中秋晚会首次采用 Audio Vivid (菁彩声)制作播出并通过 “百城千屏” 体系传播,观众可通过 “云听” 客户端感受震撼效果;2022 年 11 月卡塔尔世界杯,中国移动咪咕公司在赛事直播中首次应用 Audio Vivid(菁彩声) 音频技术标准,结合HDR Vivid(菁彩影像),给观众带来更真实的沉浸式赛场视听体验;2023 年春晚,总台首次采用 Audio Vivid(菁彩声) 制作春晚音频信号并直播,央视频客户端采用两种模式直播,云听客户端可收听全程直播及节目回听。2024年,中央广播电视总台首次实现夏季奥运会全“4K超高清+三维声(Audio Vivid)”制作。总台春晚、秋晚、北京新年音乐会采用双Vivid(Audio & HDR Vivid)标准。
制作工具方面:花瓣三维声(Petal Vivid)是空间音频制作插件工具,提供三维空间音频编辑与渲染能力,支持 Audio Vivid(菁彩声)标准。Nuendo/Cubase,Protools, BMD Fairlight 原生支持;鼎盛佳和等12家混音棚获得认证。
终端方面
·手机、耳机、平板、智慧屏、车机、音箱等全场景设备支持空间音频,覆盖亿级用户。
作为鸿蒙OS的原生音频能力,支持华为智慧屏、手机、平板、智能座舱等产品;华为、康佳、创维等25款132个型号设备通过联盟Audio Vivid认证。
车方面
2024年车载Audio Vivid内容突破500万首(音乐),20000分钟(有声书)。·
合作进行中的车企包括:鸿蒙智行,长城汽车,广汽汽车,小鹏汽车,蔚来汽车,奇瑞汽车,一汽红旗等
2024年12月15日,世界超高清视频产业联盟(UWA联盟)Audio Vivid(菁彩声)生态伙伴奇瑞旗下豪华品牌星途汽车、网易云音乐再度携手合作,在奇瑞星纪元ET车载娱乐系统中首次推出Audio Vivid音质,为广大音乐爱好者和车主带来全新高品质音乐享受。
产教研方面:2022 年 11 月 26 日,由世界超高清视频产业联盟(UWA联盟)与上海交大文创学院合作设立的Audio Vivid(菁彩声)混音培训认证中心正式成立,同时,上海计算机音乐协会与上海交大文创学院联合举办的 IEMC 国际电子音乐大赛组委会与 UWA 联盟签订基于 Audio Vivid(菁彩声)标准的合作意向书,双方在多个领域展开合作,助力音乐技术领域人才培养。
2024年,完成了Audio Vivid高校教材,建设Vivid培训认证中心、创新示范中心,搭建与影视行业交流平台,开展10+场菁彩声培训和国际电子音乐大赛。