BodyTalk, das von Panjaya eingeführte KI-Videoübersetzungstool, revolutioniert den Bereich der Videoübersetzung. Dieses Tool kann die Stimmen der Charaktere im Video präzise in andere Sprachen umwandeln und gleichzeitig die Gesichtsausdrücke und Körperbewegungen der Charaktere anpassen, um sie auf natürliche Weise an die Sprachmuster der neuen Sprache anzupassen, wodurch tatsächlich der Effekt einer „Fälschung“ erzielt wird als echt“. Der Herausgeber von Downcodes wird Ihnen ein tiefgreifendes Verständnis dieser erstaunlichen Technologie und der Geschichte dahinter vermitteln.
Ein Startup namens Panjaya revolutioniert das Videoübersetzungsspiel. Nach drei Jahren geheimer Forschung und Entwicklung brachte das Unternehmen sein bahnbrechendes Produkt BodyTalk auf den Markt, ein KI-Tool, das die Stimmen von Menschen in Videos präzise in andere Sprachen umwandeln kann. Im Gegensatz zur herkömmlichen Synchronisation reproduziert BodyTalk nicht nur perfekt die ursprünglichen Stimmeigenschaften des Sprechers, sondern passt auch automatisch die Gesichtsausdrücke und Körperbewegungen der Charaktere im Video an, um sie natürlich an die Sprachmuster der neuen Sprache anzupassen.
Panjaya wurde von Hilik Shani und Ariel Shalom, zwei Deep-Learning-Experten der israelischen Regierung, gegründet. Im Jahr 2021 verließen die beiden den Regierungssektor, um ihr eigenes Unternehmen zu gründen, und begrüßten dann Guy Piekarz, der über umfangreiche Branchenerfahrung verfügt, als CEO. Matcha, eine zuvor von Pickez gegründete Plattform zur Entdeckung und Empfehlung von Streaming-Medien, wurde 2013 von Apple übernommen.
Derzeit unterstützt BodyTalk die Übersetzung in 29 Sprachen. Der Arbeitsablauf beginnt mit der Audioübersetzung, generiert dann eine neue Stimme, die den ursprünglichen Sprecher imitiert, und passt schließlich automatisch die Mundform und Bewegungen des Sprechers im Video an den neuen Sprachausdruck an. Während sich die Verarbeitungszeiten der Echtzeit annähern, dauert die Verarbeitung eines Videos derzeit noch mehrere Minuten.
Auf technischer Ebene verfolgt Panjaya eine Hybridstrategie, bei der große Sprachmodelle von Drittanbietern verwendet und Kerntechnologien unabhängig entwickelt werden. Laut Pickez wurde die Lippensynchronisations-Engine des Unternehmens vollständig vom internen KI-Forschungsteam entwickelt, da es auf dem Markt keine Lösung gibt, die den Anforderungen der komplexen Geschäftsszenarien wie mehreren Blickwinkeln und mehreren Sprechern gerecht wird.
Das Unternehmen konzentriert sich derzeit auf den B2B-Markt und hat Kooperationen mit Institutionen wie JFrog und TED geschlossen. Laut TED stiegen die Videoaufrufe von Vorträgen, die mit Panjaya-Tools synchronisiert wurden, um 115 % und die Abschlussraten verdoppelten sich. Das Unternehmen plant, Anwendungen in den Bereichen Sport, Bildung, Marketing und Medizin weiter auszubauen.
Um einen Missbrauch der Technologie zu verhindern, kontrolliert Panjaya den Zugriff auf Tools streng und plant die Entwicklung von Funktionen wie Wasserzeichen zur Identifizierung synthetisierter Videoinhalte. Obwohl Untertitel zu einem Standardmerkmal von Videoinhalten geworden sind – laut einer CBS-Umfrage schalten mehr als die Hälfte der amerikanischen Zuschauer beim Ansehen Untertitel ein – ist die Nachfrage nach synchronisierten Inhalten auf dem internationalen Markt immer noch riesig. Daten der Forschungsorganisation CSA zeigen, dass insbesondere im B2B-Bereich muttersprachliche Inhalte zu einem höheren Nutzerengagement führen können.
An dieser Finanzierungsrunde in Höhe von 9,5 Millionen US-Dollar beteiligten sich eine Reihe von Investmentinstituten und Einzelpersonen, darunter Viola Ventures, R-Squared Ventures und JFrog-Mitbegründerin und CEO Shlomi Ben Haim. Panjaya plant, in Zukunft API-Schnittstellen einzuführen und die Verarbeitungsgeschwindigkeit weiter zu verbessern, um dem Ziel der Echtzeitverarbeitung näher zu kommen.
Der technologische Durchbruch von BodyTalk hat der Videoübersetzungsbranche neue Möglichkeiten eröffnet, und es lohnt sich, auf die zukünftige Entwicklung zu blicken. Der Erfolg von Panjaya zeigt auch das enorme Potenzial der KI-Technologie bei der Lösung praktischer Probleme. Ich glaube, dass wir in naher Zukunft weitere ähnliche innovative Anwendungen sehen werden. Der Herausgeber von Downcodes wird der weiteren Entwicklung weiterhin Aufmerksamkeit schenken.