系列报道:深入了解 Fraunhofer IIS和埃尔朗根-纽伦堡大学的合作关系
第 1 部分:MPEG-I 和 Jürgen Herre
正如大家期待的那样,自2010年成立以来,国际研究机构埃尔朗根国际音频实验室发生了许多大事。我们便以此为契机开展了系列专题报道,进而对它的每一个研究领域进行探索。目前,五位教授、近50名员工以及国际学者在Fraunhofer IIS与埃尔朗根-纽伦堡大学(FAU)联合创建的研究院共同研究着一系列复杂又有趣的音频技术。从音频信号分析到虚拟现实:科学家正在为当今和未来的音频技术发展提供着重要动力(更多)。
作为本系列的第一部分,我们将拜访Jürgen Herre教授,他是音频实验室的创始成员之一。在FAU的 电气工程专业毕业后,于 1989 年加入Fraunhofer IIS并开启了他的科学生涯。“从那时起我便一直开发音频编码算法,但直到 2017 年我才开始考虑 VR ,我敢肯定它没发生在我的学生时代。” Jürgen Herre 教授笑谈道。这位电气工程师已经在Fraunhofer IIS音频及媒体技术部担任首席科学家20余年。这也就意味着他为 MPEG-4 和 MPEG-7 音频技术以及 mp3、mp3 环绕声、MPEG 环绕声、空间音频对象编码、USAC 和MPEG-H 音频的发展都做出了贡献。自 2010 年 9 月以来,他便一直担任音频编码主席,近年来还与Frank Wefers 教授一道,共同负责音频实验室的虚拟和增强现实研究。
MPEG-I:为耳朵打造的虚拟现实
虚拟现实(VR)可以将人们带入一个非常逼真的虚幻世界。为了让虚拟世界看起来完全真实,即达到沉浸感,视听模拟需要做到绝对令人信服。未来,用于虚拟和增强现实领域的全新标准 MPEG-I 旨在为此做出贡献。Jürgen Herre 的团队正致力于该领域的音频研究。最近,他们庆祝了一个巨大的成功:提交给 MPEG 音频标准化委员会的技术荣获最佳系统,并在 2022 年 1 月的提案征集 (CfP)中获胜。
Herre 表示:“我们正在努力实现让虚拟音乐会呈现在整个房间并在任何位置获得逼真的音频体验。”当前可用的技术(例如 MPEG-H 音频)仅支持三个自由度 (3DoF)。这意味着听众可以在房间的固定点位自由移动他们的头部(转动头部、向前、向后和向侧面移动)。音频实验室团队将其研究转向6DoF。这包括位置和方向数据,并通过这些数据使用户可以在房间内自由移动。而每个声源都必须由三个轴坐标和三个旋转角度定义。除此之外,还要考虑源范围和方向性。 MPEG-I(I代表沉浸式媒体)作为音频和视频还放的系统,不仅可以成为虚拟音乐会的革命,还可成为体育赛事和其他虚拟环境的革命。
各种空间中的声音
观众在虚拟空间中自由移动的选项需要对环境进行复杂的建模。对于房间的混响特性以及对其几何形状和表面结构的准确描述是必不可少的,因为它们代表着声音是如何反射、散射以及传输的。 “目前,我们正在努力寻找一种方法,以经济高效的方式将房间内的声音传播和著名的多普勒效应(即来自快速移动源的声音)整合到智能手机中。”Herre 解释道, “我们还在研究空间扩展声源(如海滩)的真实再现,以及不可见声源对声音的折射,这种现象在异型的空间中很常见,例如迷宫。”为此,音频实验室也在研究声音如何在角落和障碍物周围传播,以及如何实时还放这种现象。