3GPP 沉浸式通话

IVAS 让沉浸式通话和会议成为现实

许多人在电话会议和其他小组通话中比面对面谈话更容易感到疲惫。原因之一是大脑必须将扬声器发出的声音和对话中的人物匹配起来。而在大多数情况下,音频场景以单声道播放,这加剧了大脑处理任务的困难。

与过去几十年的猜谜一样的通话相比,当今移动网络的通话质量已取得了长足的进步。诸如增强型语音服务 (EVS) 等通信编解码器能够提供强大且高效的音频质量。但即使是自 2014 年发布便成为电话领域事实标准的 EVS,其工作原理也是建立在用户接打电话时通过一只耳朵靠近听筒并获取单声道的声音而设计的,这忽略了技术飞速发展带来的更多的通话可能性。

移动电话网络中的空间音频

如今,耳机、条形音箱、汽车以及笔记本等设备无处不在,人们使用它们进行语音通话和在线会议。尽管许多设备可以提供立体声或沉浸式声音体验,但却很少用于电话通信。全新的 IVAS(沉浸式语音和音频服务)编解码器可以改变这一点。IVAS 是 EVS 的扩展,让移动网络传输立体声和沉浸式音频成为可能。作为一种通信编解码器,它针对空间音频的压缩进行了优化。过去的通信编解码器仅专注于提高压缩效率和提高单声道信号的音频带宽,而 IVAS 最终克服了这一限制,它支持立体声和沉浸式音频信号,包括多通道、Ambisonics、对象、新颖的元数据辅助空间音频 (MASA) 格式,甚至是 Ambisonics/MASA 和对象的组合。

打造交流空间

通过 IVAS 编解码器和设备传输空间及沉浸式音频:

  • 沉浸式通话:IVAS 使参与者能够捕捉沉浸式场景并将其分享给他人。这非常适用于活动或户外沉浸式体验。
  • 即时会议:通过将电话放在会议桌上,可以拾取周围人员的真实声学图像,并在一个或多个接收器上重现。渲染沉浸式场景可以更轻松地区分不同说话者的声音并将其与环境声音分离。
  • 多方会议:对于更为复杂的情况,多个参与者的语音作为单独的流传输并在接收设备上进行空间渲染,以匹配并行传输的视频场景。然后,用户可以自定义音频,例如:更改不同参与者的语音音量或移动发声位置。此外,中间呼叫服务器可以将从不同位置呼叫的多个参与者组合成一个(虚构的)沉浸式音频场景。

 

这使得 IVAS 成为商务通话以及分享活动或户外探险的沉浸式体验的绝佳技术。事实上,它适用于各种环境,甚至互联不同的应用场景:在家里、办公室和车里与人们开会。还有一些应用程序选项可以通过将参与者渲染到捕获的沉浸式场景中来连接户外、城市和工业环境。在所有这些情况下,IVAS 都能提供更加逼真的体验,以减少聆听和集中注意力所需的努力,并最大限度地减少疲劳。此外,IVAS 还能够改进常见的单声道音频,并将其沉浸化,例如: 短信/iMessage 和富媒体消息(RCS)。

IVAS 最近被 3GPP 选择为 5G Advanced(第 18 版)更先进的移动网络的一项功能。作为世界上最著名的音频技术研发机构之一,Fraunhofer IIS 为“IVAS 公共协作”项目做出了重大贡献,这是一个由 11 家公司就 IVAS 标准进行合作的项目。

This post is also available in: English