Wave Surround震撼预警：国内首个IAB 沉浸音处理系统试验成功，部分代码将开源！

　　自 IAB 标准(SMPTE 2098系列)发布以后，Dolby、DTS 等公司相继发布了其对于 IAB 格式 DCP/IMP 的支持和方案，Atmos、DTS:X、Auro 3D 等多种基于对象的沉浸式音频技术，正在逐步转向统一的互操作格式-IAB 。使得同一个 DCP 可以应用到不同的沉浸式音频系统上，目前该技术标准已经在多个国家投入使用，中国大陆目前尚未开始 IAB 的普及，我们经过多年对 IAB音频系统的研究，结合 Wave D-Cinema Server 可实现完整的 IAB 沉浸式音频系统的部署和使用，该 IAB 音频处理器不同于传统的 FPGA 方案，使用通用计算架构，可实现远超 FPGA 的音频处理性能，同时，我们关注到从 Atmos 及其他空间音频技术向 IAB 转换的电影音频工作流程需求，提供对应的沉浸式音频制作工具，实现端到端的沉浸式音频解决方案。

　　IAB (沉浸式音频比特流)是一种由一组 SMPTE 标准定义的技术，所有符合沉浸式音频标准的媒体播放器都遵循该标准。这包括投影仪内的集成媒体块 (IMB) 和单独的外部系统 (SMS)。

　　IAB 的 SMPTE ST 2098 标准最初于 2018 年发布，现在终于被电影行业采用。因此，内容所有者和内容服务提供商将开始发行带有 IAB 标签的电影，这意味着：

　　所有使用IAB沉浸式音频标准的电影都将使用“IAB 兼容”

　　符合 IAB 标准的音频将在其内容播放列表 (CPL) 中以及通过 DCP 命名约定标记为“IAB”

　　电影院的媒体播放器、影院管理系统 (TMS) 或 SMS将开始显示标签“IAB”，而不是 Atmos

　　影院经营者可能更熟悉在电影中看到 Atmos。未来将只使用 IAB

　　这不会改变 DCP 中的内容——杜比多年来一直在推出符合 SMPTE 标准的“IAB ”DCP

　　很快，您的 TMS 和 SMS 将只显示“IAB ”。不会显示“Atmos”字样。

　　这什么时候会发生？

　　目前好莱坞影片Atmos版本已按照IAB格式提供，国产影片尚未开始转向IAB格式，相信在不久的将来，ATMOS和DTS都将使用IAB格式的DCP版本，影城需要确保设备准备就绪，需要确保其软件得到更新。

　　(附图为 ISDCF-DCNC 对 IAB 格式的命名规范)

　　关于 IAB ：IAB 代表I mmersive A udioB itstream 。比特流是一个计算机术语，简而言之，在标准音频系统中，音频从媒体服务器(IMB)开始，进入音频处理器，然后直接在音响系统中播放。

　　SMPTE ST 2098-1：沉浸式音频 比特流 (IAB Bitstream)： 定义了用于传输沉浸式音频数据的比特流格式。它支持基于声道 (Channel-based)、基于对象 (Object-based) 的音频表示方法，以及它们的混合使用。注意：标准的IAB 规范里没有关于基于场景音频的约束，任何关于 HOA 在 IAB 中的应用都是非标准的做法，我们不建议使用 HOA 在电影院环境中。

　　基于声道 (Channel-based)： 类似于传统的环绕声，使用预定义的扬声器位置来录制和播放音频。例如 5.1、7.1 声道等。

　　基于对象 (Object-based)： 将音频元素(例如对话、音效)作为独立的“对象”进行录制和处理，并包含其在三维空间中的位置信息。播放时，渲染器会根据扬声器的实际位置来渲染这些对象。

　　Dolby Atmos 是目前世界上使用最广泛的 IAB 音频品牌，Atmos 使用 VBAP(矢量幅度平移)算法进行 IAB 渲染，目前 Dolby Atmos 已经在商业影院部署超过 7000 影厅以上。空间音频已经快速进入了大家的生活中，手机、汽车、电视等终端已经支持对象声的渲染，受限于其计算能力，专业影院的同时播放对象数量高达 118 个，而手机、汽车、电视这些终端的对象可能减少为十余个。

　　Atmos 增加了什么？

　　杜比全景声系统为影厅引入了一个新概念。这个新发展被称为“对象”。

　　Atmos 系统仍然包含 5.1 或 7.1 声道。它将这些称为 Bed Channels。

　　“Bed” 这个词在音频界有着悠久的传统。例如，如果你和乐队混在一起，你会听到他们说，“让我们放一些  Bed track 吧”。这些是歌曲中节奏和与主要旋律元素和声的基本音轨。因此，DCP 中的 Bed Tracks 是电影音频的基本 5.1 或 7.1 声道。

　　而对象则不同。它是一种声音，但没有特定的播放通道，也没有特定的电缆供其传输。

　　物体在空间中有一个位置。它需要一个 IAB 系统来告诉声音物体“去往屏幕前方四米处，距离左侧三米、距离天花板一米，要非常窄，但声音要非常大。然后花 5 ms移动到 3D 空间中的其他地方，并且要非常宽”。但是这些位置可能没有扬声器，对吧?因为如果有的话，扬声器会遮挡屏幕上的画面。

　　事实上，Atmos 和其他系统(AuroMax和DTS:X)都有很多额外的扬声器。问题是，较小的影厅可能只有 8 个额外的扬声器加上床声道，但另一个影厅可能有 20 个额外的扬声器——而且它们被放置在礼堂的不同位置。事实上，扬声器的总组合可以是 64 个。所以，也许那个位置有一个扬声器，……但可能没有。

　　要做到这一点需要大量的计算机算力来支撑。

　　IAB 基于对象的音频是如何记录音频位置的？

　　IAB 最大可以 118 个对象同时渲染，这些对象是声音在物理环境中的某个发声单元，比如人在说话的时候，人是对象，马路上行走汽车的噪音，天空中的飞机飞过的声音，这都是一个个音频对象。音频对象位置元数据使用笛卡尔坐标系指示音频对象的位置。使用三个正交轴(x、y、z)来定位空间中相对于所选原点的点。x 坐标应表示左右维度，y 坐标应表示前后维度，z 坐标应表示上下维度，如图 1 所示。

　　对象在空间中的位置是用笛卡尔坐标系来描述的，对于空间中的某个位置以及对象本身的大小，ST2098-1 中均有相关定义，渲染时需要按照 IAB 中描述的要求进行渲染，以保证达到制作人的目的。

　　IAB 渲染-最重要的部分：

　　(IAB 音频播放架构)

　　SMPTE ST 2098‑2 沉浸式音频比特流 (IAB) 定义了一种用于承载沉浸式音频的比特流。它设计了许多前瞻性功能， 其中一些功能目前不受影院IAB渲染器的支持。为了有效地开始向行业推出 IAB DCP，需要为 IAB 制定一套约定的约束。“IAB Application Profile#1” 将这些要求和支持的功能编入标准。配置文件 1 基于截至 2020 年 2 月 影院中沉浸式音频渲染器所实施的功能。我们通常认为：杜比ATMOS遵循的渲染器约束就是“IAB Profile 1”，杜比公司提供了从ATMOS向IAB的转换工具，影片制作工作室可无损的将ATMOS数字资产转换为IAB资产。IAB 配置文件1规定了对最大10个床声道、118个对象同时进行渲染的详细约束。

　　如何将IAB沉浸音中记录的声音对象位置准确的在有限的影厅扬声器布局中渲染出来是非常有挑战的工作，比较推荐的做法是使用VBAP(矢量幅度平移)方法，声音的对象从一个点到下一个点的移动速率约为5ms，每个对象的定位最少需要3只扬声器来实现定位，渲染器的工作就是不断的将声音对象通过影厅空间最适合的三个扬声器来重新计算每个扬声器或者扬声器组需要播出的音频数据，同时，渲染器需要考虑人类听觉的特性，进行实时的解相关运算，通过调节音频的相位达到更佳的体验，与传统的音频处理应用不同，渲染器相当于将音频工作站由工作室搬到了影厅的机房，根据不同的影厅尺寸进行密集的实时计算，单是FIR处理一项，传统的DSP芯片就难以胜任，影院音频处理呈现高带宽、高算力要求。

　　Dolby的IAB处理方案采用FPGA计算平台，与传统的DSP哈佛架构芯片不同，我们的音频处理方案创新的使用通用计算平台，结合CPU与GPU的强大计算能力，可提供超越FPGA架构十倍的处理能力，除了音频渲染、音频处理外，Wave Surround解决方案支持实时进行房间混响计算，这将为较小的空间实现“大剧院”、“演唱会”、“大礼堂”、“巨幕厅”的声音效果成为可能。

　　Wave Surround 支持更灵活的音响布局，支持7.1.4、5.1.4、9.1OH、11.1HT、13.1HT、9.1.6、11.1.4等灵活布局，得益于强大的计算架构，该音频解决方案Filter部分使用FIR高阶滤波(大于1024Taps)进行音频滤波处理，可以做到非常好的相位响应，在类似LED电影屏的B环还音应用中，可以灵活应对。Wave Surround 已就相关技术申请专利保护。

　　我们的方案-Wave Surround 沉浸式终极音频解决方案

　　从 2019 年开始，我们就在关注 IAB 音频相关技术的发展，在Pierre-Anthony Lemieux等人的帮助与指导下，我们于 2024 年完成了IAB 沉浸式音频的产品研究和开发工作，与我们的 Wave D-Cinema 媒体服务器一样，我们的 IAB 音频处理器同样采用通用计算架构，而不是 Dolby 的 FPGA 架构。计算性能远远超过 FPGA。

　　Wave IAB Processor Features：

　　符合ST 430-10 标准的 IMB 通信要求，支持由 IMB 控制的 IAB 音频播放管理功能

　　友好易用的 Web UI 设计，提供 Restful API 供集成

　　灵活的 DAC 布局，使用 AES67 协议，支持外置 DAC

　　符合 ST2098 系列 IAB 标准，支持多达十余种扬声器布局

　　全 LCD 触控屏操作，无物理实体按键

　　支持 OTA，可通过软件更新提升硬件价值

　　支持低音阵列及低音管理

　　可灵活使用 IIR/FIR 分频和滤波，FIR 可支持更高 Taps 滤波，超越专业级音频设备的品质

　　彻底解决 LED 电影屏透声问题，使用 高阶FIR提供极好的相位响应。

　　支持自动 EQ 校准

　　最大可支持输出 128 路数字音频

　　最后：

　　使用通用架构进行IAB音频处理是一项充满挑战的工作，在麦克卢汉卓越研究开发团队的不懈努力下，该IAB音频解决方案得以成功通过试验，我们欢迎国际、国内音频产业的相关公司参与共创合作，Wave Surround 计划将IAB的制作、渲染、音频处理等核心代码开源，如有对空间音频、数字影院音频处理感兴趣的团队，可通过公众号与我们联系，共同打造极致的媒体娱乐体验。