Fraunhofer upHear 空间音频麦克风信号处理技术在荣获艾美奖的 VR 工作室Felix & Paul Studios 的360度3D 虚拟现实摄像头中使用。
成为一名宇航员加入国际空间站去探索太空的奥秘，是一个只有少数人才能实现的孩童时期的梦想，还是能够成为可能？
神秘的人形生物飞翔、变形并消失在我们眼前无尽的黑暗中，这是一个奇怪的梦，亦或是现实？
技术开启了通往未知世界的大门，并带我们踏上了一段前所未有的旅程。现如今尖端影视制作人不仅使用绿幕和计算机生成图像（CGI）等拍摄手段，还借助360 度3D 摄像系统和 Fraunhofer IIS音频技术，在虚拟现实领域迈出了巨大的一步。 2017 年，荣获艾美奖的沉浸式虚拟现实娱乐创作者 Felix & Paul Studios 决定将来自 Fraunhofer IIS 的 upHear 空间音频麦克风信号处理 (SAMP) 技术集成到其360 度 3D 摄像系统中。他们的目标是通过一台设备同时捕捉空间音频和视觉的双重效果。在360 度摄像头中添加隐藏的麦克风成为了一项巨大的挑战。Fraunhofer IIS的工程师们渴望克服这一问题。四年后，我们与 Felix & Paul Studios 的联合创始人兼创意总监 Paul Raphaël以及联合创始人兼沉浸式音频专家Headspace Studio的声音总监Jean-Pascal Beaudoin 就技术及其使用展开了探讨。
[IIS] 能够和我们简单分享一下360 度 3D 摄像系统吗？
[Paul Raphaël] 2013 年，我们设计了首款360度3D VR 摄像机，配套的后期制作和还放工具还尚未开发。从那时起，我们便不断改进硬件和软件设计，并为特定的拍摄情况和场景量身打造特殊版本的摄像机。
由于 360度3D 拍摄本身存在着原生矛盾，即全景摄影要求视差最小化，而 3D 立体视觉则以视差为基本前提，所以VR摄像机的设计本身便是功能与妥协间的平衡。对流程拥有完全的控制权，加以对技术的深入了解，使我们能够拓展创意的可能性并优化与创意相关的技术。
upHear 技术是否有什么特别之处让您选择了它？
[Jean-Pascal Beaudoin] 将外部麦克风集成到专业 360 度 3D 摄像系统中以捕获基于场景的音频的最大挑战是：可使用的空间非常有限。从设计的角度来看，其实我们在处理一个悖论，即希望麦克风的中心与摄像机相匹配，从而不干扰镜头。但根据摄像头系统设计的不同，天顶位置可以有一个镜头，而天底则是三脚架、电缆、存储装置、电池等的地方，这些都是明显的障碍。此外，还有一个显而易见的问题，即不可避免的风扇噪音。
而真正让upHear 技术脱颖而出的是：算法体现在音频处理阶段，而麦克风阵列实际物理配置非常地灵活。一旦我们分享了摄像机的基本几何结构，Fraunhofer IIS 的工程师们就能够提出几种不同空间分辨率的麦克风阵列设计。最终，我们选择了八个麦克风的配置，并能够将其转换为三阶 Ambisonics 和基于通道的格式。
从图片中可以看出，在硬件方面我们能够使用相对简单的定制部件：一些是机械加工的零件，一些是 3D 打印的，以及现成的高品质全方位麦克风。与必须从头开始构建复杂的集成硬件相比，我们最终实现了非常经济高效且灵活的解决方案。此外，麦克风的配置能够非常靠近摄像机的镜头，并且远离风扇，从而最大限度地减少噪音。当然，如果设备本身所捕获的音频质量在空间上不准确，那么上述的所有益处都将变得不那么重要了，与我们的早期解决方案（单独校准的一阶麦克风）相比，upHear 在空间音频拾取的准确性上赢得了胜利.
在使用该技术期间，您是否注意到该技术有什么特别之处？
[Jean-Pascal Beaudoin] 正如我刚才所讲，那就是麦克风阵列物理配置的灵活性。Paul Raphaël之前提到，摄像头系统一直在不断发展，机身的几何形状在某一时刻发生了显著的变化，以至于在其中一张图片中可以看到的一个大的3D打印的“环型”已经不再符合需求了。因此，我们继续调整设计，赋予新的机身直径，记录新的校准记录，并将这些信息与Fraunhofer IIS 团队共享，他们够提供新的算法调整。整个过程非常简单，不需要消声室，这对我们来说是非常可观的。
我们可以列举一些您们使用 upHear 技术创作的作品吗？
- 当然，比较出色的作品有：
- Space Explorers: The Journey Begins
- 《Traveling While Black》
- Marshall from Detroit (Eminem主演)
- 《Alegría – A Spark of Light》
非常感谢您抽出时间与我们交谈。很高兴看到我们的技术在合作伙伴产品中得以使用。
Header image: © Felix & Paul Studios
