Mit IVAS werden immersive Anrufe und Telefonkonferenzen zur Realität
Viele Menschen fühlen sich nach Telefonkonferenzen und anderen digitalen Gruppengesprächen erschöpfter als nach „echten“ Gesprächen. Ein Grund dafür ist, dass das Gehirn die aus den Lautsprechern kommenden Stimmen entwirren und sie den Gesprächspartnern zuordnen muss. In den meisten Fällen werden die Audioszenen in Mono wiedergegeben, was diese Aufgabe für das Gehirn zusätzlich erschwert.
Die Anrufqualität in den heutigen Mobilfunknetzen hat sich im Vergleich zu den „Ratespielen“ der vergangenen Jahrzehnte stark verbessert. Kommunikationscodecs wie Enhanced Voice Services (EVS) liefern eine hervorragende Audioqualität, sind sehr robust und äußerst effizient. Aber selbst EVS, das seit seiner Veröffentlichung im Jahr 2014 zum Standard in der Telefonie geworden ist, geht davon aus, dass wir während eines Gesprächs tatsächlich ein Telefon an eines unserer Ohren halten. Dies führt zu einer Fokussierung auf Mono-Ton, was in vielen Fällen sicherlich gerechtfertigt ist, aber nicht die Bandbreite der Möglichkeiten abdeckt, zu der die rasante Entwicklung der Technologie beim Telefonieren geführt hat.
Spatial Audio für Mobilfunknetze
Heutzutage sind Geräte wie Kopfhörer, Soundbars, Auto- und Laptoplautsprecher allgegenwärtig und werden bereits für Anrufe und Online-Konferenzen verwendet. Obwohl viele von ihnen Stereo- oder immersive Erlebnisse liefern können, wird dies derzeit nur selten für Telefonieanwendungen genutzt. Der neue IVAS-Codec (Immersive Voice and Audio Services) kann dies ändern: IVAS ist eine Erweiterung von EVS und ermöglicht die Übertragung von Stereo- und immersivem Audio über Mobilfunknetze. Als Kommunikationscodec wurde er für die hocheffiziente Kompression von räumlichem Klang optimiert. Während sich die bisherige Entwicklung von Kommunikationscodecs überwiegend auf eine verbesserte Kompressionseffizienz und höhere Audiobandbreite für monaurale Signale konzentrierte, überwindet IVAS nun diese Einschränkung. Es unterstützt Stereo- und 3D-Signale, einschließlich Mehrkanalsignale, Ambisonics, Objekten, ein neuartiges metadatengestütztes räumliches Audioformat (MASA) und sogar eine Kombination aus Ambisonics/MASA und Objekten.
Kommunikationsräume schaffen
Die Übertragung von räumlichem und immersivem Audio mit IVAS und geeigneten Geräten kann völlig neue Kommunikationsräume eröffnen:
- Immersive Anrufe: IVAS ermöglicht es den Teilnehmern, immersive Szenen aufzunehmen und sie einander zu übermitteln. Dies eignet sich hervorragend, um das volle Erlebnis einer Veranstaltung oder eines Outdoor-Abenteuers zu teilen.
- Ad-hoc-Konferenzen: Legt man das Telefon auf einen Konferenztisch, kann ein realistisches akustisches Bild der umstehenden Personen aufgenommen und an einen oder mehrere Empfänger übertragen werden. Die Verwendung der immersiven Szene macht es leichter, die Stimmen der Sprechenden zu unterscheiden und sie von den Umgebungsgeräuschen zu trennen.
- Konferenzen mit mehreren Teilnehmenden: In komplexeren Situationen werden die Stimmen mehrerer Teilnehmer als einzelne Streams übertragen und auf dem Empfangsgerät so räumlich gerendert, damit sie zur parallel übertragenen Videoszene passen. Die Benutzer können dann den Ton individuell anpassen, indem sie beispielsweise die Lautstärke einzelner Stimmen ändern oder sie im Raum bewegen. Außerdem könnte ein zwischengeschalteter Anrufserver mehrere Teilnehmer, die von verschiedenen Orten aus anrufen, zu einer (fiktiven) immersiven Szene zusammenfassen.
Das macht IVAS zu einer großartigen Technologie für geschäftliche Telefongespräche, aber auch für das gemeinsame Erleben einer Veranstaltung oder einer Outdoor-Expedition. Es eignet sich für unterschiedlichste Umgebungen und kann diese sogar miteinander verbinden – beispielsweise bei einer Telefonkonferenz mit Personen zu Hause, im Büro und im Auto. Es gibt auch Anwendungsoptionen, die Outdoor-, Stadt- und Industrieumgebungen miteinander verbinden, indem sie die Teilnehmer in eine immersive Szene versetzen. In all diesen Situationen bietet IVAS ein lebensechtes Erlebnis, das die Anstrengung des konzentrierten Zuhörens verringert und so Ermüdungserscheinungen minimiert.
Zusätzlich zu diesen Hauptanwendungsbereichen können die immer noch gängigen Mono-Audiokanal-Nachrichten wie SMS/iMessage und RCS dank IVAS mit immersiven Eindrücken verbessert werden.
IVAS wurde kürzlich von der 3GPP zu einem Teil des fortschrittlicheren Mobilfunknetzes 5G Advanced (Release 18) erklärt. Als eine der weltweit renommiertesten Forschungs- und Entwicklungseinrichtungen für Audiotechnologien war das Fraunhofer IIS maßgeblich an der „IVAS Public Collaboration“ beteiligt, einer Kooperation von elf Unternehmen zur Entwicklung des IVAS-Standards.