【融云视角】沉浸式音频与通讯技术未来趋势

回顾互联网发展历程，从 PC 局域网到移动互联网，互联网使用的沉浸感逐步提升，虚拟与现实的距离也逐渐缩小。利用沉浸式音频与通讯技术未来将会很大程度提升用户的体验感，而在虚拟与现实的元宇宙中，对沉浸感、参与度、永续性等方面都有很高的要求，因此将会由许多独立工具、平台、基础设施、协议等来支持其运行。随着 AR、VR、5G、云计算等技术成熟度提升，基于沉浸式音频的通讯技术在元宇宙有望逐步从概念走向现实。

本文将和业内伙伴一同探索元宇宙技术发展对通讯行业带来的影响，未来沉浸式音频的发展趋势以及通讯技术在 VR、AR、AI 行业的应用。

元宇宙概念简述

元宇宙（Metaverse）是指打造一个与现实生活平行的、体验几乎无差异的虚拟世界。人类可以利用虚拟身份在虚拟世界工作、社交互动、娱乐游戏，甚至买卖交易。总结出来就是，在元宇宙中，你可以想什么就有什么，无边无际的想象力给予你无限的自由。

Metaverse 元宇宙所创造的独立于现实世界的虚拟数字第二世界，使用户能以数字身份自由生活。VR、AR、AI 作为 Metaverse 的技术基础将迎来高速增长期。虚拟现实行业 2020 年全球市场规模约为 900 亿元人民币，预计 2020-2024 年均增长率约为 54%。据中国信通院预测，2021 年开始全球虚拟设备出货量将加速，预计 2024 年可达 7500 万台。（数据来源：天风证券《Metaverse研究报告》）随着 VR 产业链的逐步完善，VR 对行业的赋能会展现出强大的飞轮效应。

那么我们怎么样才能从现实世界，逐渐进入到元宇宙世界中去呢？

真实感的维度

如果把元宇宙场景中，用户体验到的真实感划分为两个维度：“沉浸感”和“自由度”。两个轴的起点，则是原生感知现实，例如正在阅读这篇文章的你。沉浸和自由的深度，共同决定了元宇宙中的用户体验是否足够真实。

真实感的等级

Lv1：从原生感知初步向虚拟世界迈进的阶段

Lv2：让大脑感觉部分真实的虚拟世界

Lv3：完全骗过大脑的全真虚拟世界

Max：和原生世界深度相同的虚拟世界

元宇宙现阶段发展趋势

现阶段元宇宙概念的产业链，例如互动体验、人机交互等，大部分能力范围在 Lv1-Lv2 之间，仅有少部分尖端企业向 Lv3 迈进。未来阶段如何实现 Max 的目标，是否能真正实现，目前还无法得知。

Lv1-Lv2 范围的产业链已日渐成熟，目前已经实现 3D 体感电影、开放沙盒游戏、VR、AR、MR 游戏等应用。

如果说 Lv2 阶段的用户体验，是由某几个沉浸或自由因素堆积而成的“半真实”体验，那么升级到 Lv3 阶段的“全真实”体验，可以说是质的飞跃。“沉浸”和"自由"必须做到足够的深度，相辅相成。数字化的视觉和听觉感知体验是否可以完全骗过我们的大脑？3D 引擎是否能提供足够的自由体验？AI 是否能做到永续性、自生长？网络传输是否可实现无延迟？只要任何一个因素存在缺陷，就不可能真正实现“全真实”的用户体验。可见从“半真实”到“全真实”，实现难度会陡增。

到 Lv3 之后，元宇宙下一个阶段，就是实现终极目标，让人们的意识永生在虚拟世界。影响这一目标实现的因素，除硬件、软件、通讯等科技因素之外，还涉及到生物学和医学范畴。是否能真正实现，目前来看仍是未知。

头部厂商的进展

1.Facebook

2020 年 9 月，Facebook Connect 2020 大会上，Facebook 发布了 AR/VR 十五大重要战略规划。会上公布的一系列 AR/VR 信息，涵盖最新硬件产品、软件产品、解决方案、开发者服务、前沿技术研究等。

其中 VR 头显 Oculus Quest 2 依靠平台提供的游戏和软件支持，已经成为目前市场上主流的 VR 头部穿戴设备。

值得关注的是，在会上发布的Project Aria 是Facebook 构建的帮助研究人员理解 AR 眼镜所需软件和硬件的研究设备。它使用传感器能从佩戴者角度捕捉视频和音频，通过GPS 计算位置，捕捉多声道音频。

2.Apple

美国知名科技博客 Scobleizer 预测，苹果在未来一年内公布的产品计划中，将会包含一款全新的 AR/VR 头显。具体来讲，苹果计划在未来十年推出多款产品，包括 AR/VR 眼镜、AR/VR 隐形眼镜(分别在 2022 年到 2025 年之间推出)。这意味着苹果要从 2D 屏幕、界面和体验向 3D 形式升级。

Scobleizer 表示：苹果 AR/VR 头显将同时覆盖使用者的双眼和双耳，戴上之后你不仅看不到周围的环境，也听不到周围的声音。也就是说，苹果 AR/VR 头显的一大特点是视觉和听觉的沉浸感，有趣的是，它并不会将使用者与外界完全隔绝，也许可以通过 AR 透视功能让你看到和听到周围。在苹果 AR/VR 头显开机之后，你才能看到周围环境的虚拟影像，并且听到周围的声音。

值得关注的还有苹果车载环绕音频技术。Scobleizer 表示，该技术可以从汽车内部、家里等各种地方营造环绕式声音效果。利用苹果 AR/VR 头显的 LiDAR 模组，可以实现 3D 音频在空间中的定位。通过亲自体验，他表示该技术可模拟亲临现场的音频效果。

RTC 通讯技术的现状

RTC 的音频传输技术，是通过采样、量化、编码、压缩，实现模拟信号到数字信号的传输。目前常用的是双声道的采样，即左右两个声道的立体声，再经过压缩处理，传输时占用带宽少，符合目前大部分业务场景对传输效率的需要。随着5G 到来，网络带宽不再是问题，在保证传输效率的基础上，人们会进而追求 3D 沉浸式的音频体验。双声道采样将不再符合未来需求。多声道采集（例如 Ambisonics 麦克风用四面体阵列形式采集 4 个声道）传输，或许成为未来通讯技术的主流。

除了上述办法使用户实现沉浸式的音频体验，还有没有其他方法？我们先来看一下，目前成熟的沉浸式的音频技术有哪些。

沉浸式的音频技术

目前，沉浸式音频类型主要分为三大类：基于声道 Channel based audio （CBA）、基于对象 Object based audio （OBA）、基于场景 Scene based Audio （SBA）。Scene-Based Audio 主要是用来描述场景的声场，其核心的底层算法是 HigherOrder Ambisonic（HOA）。

根据业内专家分析的结论，未来 VR 音频专业领域则主要是 Object based audio 和 Ambisonics（HOA）两大趋势。

那么 VR 音频技术，可以应用在哪些 VR 社交场景中呢？

与社交场景的对应

在元宇宙发展的现阶段，社交场景主要存在于 VR 游戏、VR 直播、和 VR 社交软件上。

因为 Object based audio 有大量的数据和运算，除了声道的音频外，还有关于声源的metadata （元数据）：声源（位置、大小、速度、形状等属性）、声源所在的环境（reverb （混响）和 reflection（回声）、attenuate （衰减）、几何形态），所以它更适合用于 VR 主机上的游戏。

Ambisonics 的特点是声源贴在提前渲染好的全景球上，所以玩家不一定能够将声源放在场景中想放的位置，即使有声源也被压缩在了这个球上。它适合移动端和流媒体视频。

如何利用沉浸式音频与通讯技术提升未来体验

通过以上分析，我们怎样利用 RTC 的音频传输技术实现用户沉浸式的音频体验呢？

1. 直接传输沉浸格式的音频

使用 Ambisonics 技术，声音的采集和处理都交给 App 或者 VR 声音引擎，RTC 通道仅负责进行传输。

2.预处理后交给接收端还原

对应 Object based audio 技术，声音的采集用 Ambisonics，但是在传输之前，降维到双声道进行编码和传输，这样 Web 端或移动设备能兼容。然后接收端通过双声道数据，再还原回 Ambisonics，根据虚拟场景的变化实时渲染，最后在用户端播放。

3. 通过文字与语音的转换技术实现

如果虚拟场景中是二次元的世界，我们不仅要避免人声的直接还原，还要让人物语音符合二次元世界中的设定。

对于这种情况，可以借助融云 IM 技术，以及语音和文字的互转实现（asr 和 tts）。人声采集后先转成文字，再输入到声音建模中，最后转成二次元人物的声音。

这种方法可以让每一个玩家的语音都符合游戏世界中的设定，从而增强沉浸感。

结束语

相关技术的不断升级进步，会使元宇宙概念继续向前发展。VR、AR、5G、AI、专业引擎和平台等产业链的发展，也会继续带动用户对沉浸式体验的追求。沉浸式音频通讯有可能会成为未来通讯的主流。我们对市场保持关注，希望和业内伙伴一同深入探索研究，沉浸式音频与通讯技术或可成为通讯业务未来的突破口。