Bild: Meta
Fotorealistische digitale Begegnungen: Dies soll die Killeranwendung von VR und AR sein. Meta-Codec-Avatare überwinden nun eine weitere Hürde.
Seit mehr als drei Jahren informiert das Unternehmen über die eigene Avatar-Forschung. Codec-Avatare sollen eines Tages Videokonferenzen ersetzen und eine neue Ära der medienvermittelten Kommunikation einläuten.
So funktioniert das System: Virtual-Reality-Brillen erfassen mit eingebauten Sensoren den Bereich der Augen und des Mundes und ein KI-Modell generiert aus diesen Daten ein realistisches Abbild der Person, inklusive Augenbewegungen, Mimik und Zähnen .
Eine große Hürde auf dem Weg zur Vermarktung: Menschen müssen zunächst in ein 3D-Studio gescannt werden, um einen Ganzkörper-Avatar zu erhalten. | Bild: Meta
Seit der ersten Einführung von Codec-Avataren im Jahr 2019 hat Meta immer wieder Fortschritte in der Weiterentwicklung des Systems gezeigt. Kürzlich konnte die Forschungsgruppe Virtual-Reality-Avatare mit einer neuen Rendering-Technik relativ einfach in einem Meta Quest 2 darstellen, und dank eines neuen, eigens entwickelten Chips konnte Meta das System weiter optimieren.
Gesichtsscan mit Smartphone
Laut Forschungsleiter Yaser Sheikh ist die Metaverse-Telefonie, die irgendwann auch für AR-Brillen verfügbar sein könnte und Menschen als Hologramme in die Umwelt schleudert, noch fünf „Wunder“ von der Marktreife entfernt. Nun scheint dem Team ein weiteres Wunder gelungen zu sein.
Eines der größten Hindernisse bei der Vermarktung des Avatar-Systems besteht darin, dass die Benutzer zunächst in ein spezielles Studio gehen und sich von Dutzenden von Kameras in 3D scannen lassen müssen. Diese liefert grundlegende Daten, mit denen das KI-Modell realistische Avatare erstellen kann. Für den gewerblichen Einsatz ist das zu umständlich.
In seiner neuesten Forschung zeigt das Team, dass das 3D-Scannen des Gesichts auch mit einem Smartphone durchgeführt werden kann, ohne dass das Ergebnis darunter leidet. Die Hoffnung ist, dass die Benutzer dies eines Tages unabhängig von zu Hause aus tun können.
Spannweite {Breite: 5px; Höhe: 5px; Hintergrundfarbe: # 5b5b5b; } # mailpoet_form_11 {Randradius: 0px; Textausrichtung: links;} # mailpoet_form_11 form.mailpoet_form {Padding: 20px;} # mailpoet_form_11 {Breite: 100 %;} # mailpoet_form_11 .mailpoet_message {Rand: 0; padding: 0 20px;} # mailpoet_form_11 .mailpoet_paragraph.last {margin-bottom: 0} @media (maximale Breite: 500px) {# mailpoet_form_11 {background-image: none;}} @media (minimale Breite: 500px) {# mailpoet_form_11 .last .mailpoet_paragraph: letztes Kind {margin-bottom: 0}} @media (maximale Breite: 500px) {# mailpoet_form_11 .mailpoet_form_column: letztes Kind .mailpoet_paragraph: letztes Kind: {0} margin-bottom]]>
Das Rendern des Avatars dauert noch Stunden
UploadVR beschreibt die technischen Voraussetzungen in einem Artikel. Daher erfordert das 3D-Scannen einen Tiefensensor wie das iPhone X und eine neuere Verwendung für FaceID. Laut Meta dauert der Vorgang etwa dreieinhalb Minuten. Die Benutzer müssen 65 verschiedene Gesichtsausdrücke imitieren.
Die Reduzierung der Komplexität des Scannens ist dank eines optimierten KI-Modells möglich, das weniger Daten verarbeiten kann. Er trainierte mit einem Satz von 255 Gesichtern.
Oben sehen Sie das Ergebnis des 3D-Studioscans, unten das Ergebnis eines Smartphone-Scans. | Bild: Meta
Ein weiteres zu lösendes Problem ist die Darstellung des Avatars in Echtzeit und in allen Details. Die Berechnung dauert derzeit auf einem Rechner mit vier High-End-Grafikkarten sechs Stunden.
Ein Problem beim Smartphone-Scannen ist, dass es Probleme mit Brillen und langen Haaren hat und keine Informationen über den Rest des Körpers. Es gibt also noch viele Wunder für Metaforscher zu tun.
Die Forschungsarbeit ist kostenlos im Internet verfügbar.
Hinweis: Links zu Online-Artikelshops können als Affiliate-Links bezeichnet werden. Wenn Sie über diesen Link kaufen, erhält MIXED.de vom Verkäufer eine Provision. Der Preis ändert sich für Sie nicht.