Panjayas KI -Videoübersetzungstool BodyTalk revolutioniert die Videoübersetzungsindustrie. Es kann die Stimmen der Charaktere im Video genau in andere Sprachen umwandeln und die Gesichtsausdrücke und Körperbewegungen der Charaktere perfekt synchronisieren, wodurch ein hoch natürlicher Sprachumwandlungseffekt erzielt wird. Diese Technologie durchbricht die Grenzen des traditionellen Synchronisation und bietet eine neue Lösung für die globale Verbreitung von Videoinhalten. BodyTalk wird von zwei israelischen Experten für Deep Learning gegründet und von erfahrenen CEOs mit einem starken Team und einer führenden Technologie geleitet.
Ein Startup namens Panjaya revolutioniert das Spiel der Videoübersetzung. Nach drei Jahren geheimer Forschung und Entwicklung startete das Unternehmen das Breakthrough Product BodyTalk, ein KI -Tool, das die Stimmen von Charakteren in Videos genau in andere Sprachen umwandelt. Im Gegensatz zu traditionellem Synchronisation repliziert BodyTalk nicht nur die originalen akustischen Merkmale des Sprechers perfekt, sondern passt auch automatisch die Gesichtsausdrücke und Körperbewegungen der Charaktere im Video an, um die Sprachmuster der neuen Sprache auf natürliche Weise zu entsprechen.
Panjaya wurde von zwei israelischen Regierungsexperten Hilik Shani und Ariel Shalom gegründet. Im Jahr 2021 verließen die beiden die Regierungsabteilung, um ein Unternehmen zu gründen, und begrüßte dann als CEO Guy Piekarz, der eine reiche Erfahrung in der Branche hat. Matcha, eine Plattform für Entdeckungs- und Empfehlung von Streaming Media, wurde 2013 von Apple übernommen.
Derzeit unterstützt BodyTalk die Übersetzung in 29 Sprachen. Der Workflow umfasst zunächst Audioübersetzung, erzeugt dann neue Stimmen, die den akustischen Sprecher nachahmen und schließlich automatisch die Lippenform und die Bewegungen des Sprechers im Video so anpassen, dass sie dem neuen Sprachausdruck entsprechen. Obwohl die Verarbeitungszeit nahezu Echtzeit liegt, dauert es noch einige Minuten, bis die Verarbeitung eines Videos abgeschlossen ist.
Auf technischer Ebene verfolgt Panjaya eine Hybridstrategie, die nicht nur Großsprachmodelle von Drittanbietern verwendet, sondern auch unabhängig voneinander Kerntechnologien entwickelt. Laut Piquetz wurde die Lippensynchronisationsmotor des Unternehmens von einem internen AI-Forschungsteam vollständig entwickelt, da auf dem Markt keine Lösung vorhanden ist, die den Anforderungen seiner komplexen Geschäftsszenarien wie Multi-Winkel und Multi-Sprecher entsprechen kann.
Das Unternehmen konzentriert sich derzeit auf den B2B -Markt und hat eine Zusammenarbeit mit Institutionen wie Jfrog und TED erreicht. Ted sagte, dass die Anzahl der Ansichten von Vorlesungsvideos, die mit Panjaya -Tools synchronisierten, um 115%gestiegen sind, und die volle Betrachtungsrate hat sich verdoppelt. Das Unternehmen plant, Anwendungen in Sport-, Bildungs-, Marketing- und medizinischen Bereichen weiter auszubauen.
Um technischen Missbrauch zu vermeiden, kontrolliert Panjaya die Verwendung von Tools und plant, Funktionen wie Wasserzeichen zur Identifizierung synthetischer Videoinhalte zu entwickeln. Obwohl Untertitel zum Standard für Videoinhalte geworden sind - mehr als die Hälfte der amerikanischen Zuschauer werden Untertitel beim Betrachten einschalten, hat der internationale Markt immer noch eine enorme Nachfrage nach Synchronisationsinhalten. Daten des Forschungsunternehmens CSA zeigen, dass Mutterspracheninhalte zu einem höheren Benutzerbetrieb führen können, insbesondere im B2B -Bereich.
Diese Finanzierungsrunde in Höhe von 9,5 Millionen US-Dollar wurde von einer Reihe von Investmentinstitutionen und Einzelpersonen teilgenommen, darunter Viola Ventures, R-Squared Ventures und Jfrog-Mitbegründer und CEO Shlomi Ben Haim. In Zukunft plant Panjaya, API-Schnittstellen zu starten und die Verarbeitungsgeschwindigkeit weiter zu verbessern und sich dem Ziel der Echtzeitverarbeitung zu bewegen.
Die Entstehung von BodyTalk zeigt, dass die Videoübersetzungstechnologie mit großem zukünftigen Entwicklungspotential auf ihre Anwendung in mehr Feldern und weiteren Durchbrüchen in der Technologie erreicht ist, was dem globalen Publikum bequemer wird .