RTranslator
2.1.2
RTranslator ist eine (fast) Open-Source-, kostenlose und Offline-Echtzeit-Übersetzungs-App für Android.
Stellen Sie eine Verbindung zu jemandem her, der über die App verfügt, schließen Sie Bluetooth-Kopfhörer an, stecken Sie das Telefon in die Tasche und Sie können ein Gespräch führen, als ob die andere Person Ihre Sprache sprechen würde.
Der Konversationsmodus ist die Hauptfunktion von RTranslator. In diesem Modus können Sie eine Verbindung mit einem anderen Telefon herstellen, das diese App verwendet. Wenn der Benutzer Ihre Verbindungsanfrage akzeptiert:
Wenn Sie sprechen, zeichnet Ihr Telefon (oder das Bluetooth-Headset , falls angeschlossen) den Ton auf.
Das aufgenommene Audio wird in Text umgewandelt und an das Telefon des Gesprächspartners gesendet.
Das Telefon des Gesprächspartners übersetzt den empfangenen Text in seine Sprache.
Das Telefon des Gesprächspartners wandelt den übersetzten Text in Audio um und gibt ihn über seinen Lautsprecher wieder (oder über das Bluetooth-Headset des Gesprächspartners, wenn er mit seinem Telefon verbunden ist).
Das alles in beide Richtungen.
Jeder Benutzer kann über mehr als ein verbundenes Telefon verfügen, sodass Sie Gespräche zwischen mehr als zwei Personen und in beliebiger Kombination übersetzen können.
Während der Konversationsmodus nützlich ist, um ein langes Gespräch mit jemandem zu führen, ist dieser Modus eher für schnelle Gespräche gedacht, beispielsweise für das Erfragen von Informationen auf der Straße oder für ein Gespräch mit einem Verkäufer.
Dieser Modus übersetzt nur Gespräche zwischen zwei Personen, er funktioniert nicht mit Bluetooth-Headsets und man muss abwechselnd sprechen. Es handelt sich zwar nicht um eine echte Simultanübersetzung, aber es kann mit nur einem Telefon funktionieren.
In diesem Modus hört das Smartphone-Mikrofon gleichzeitig zwei Sprachen (wählbar auf demselben Bildschirm des Walkie-Talkie-Modus).
Die App erkennt, in welcher Sprache der Gesprächspartner spricht, übersetzt den Ton in die andere Sprache, wandelt den Text in Ton um und gibt ihn dann über den Telefonlautsprecher wieder. Wenn das TTS beendet ist, wird das Abhören automatisch fortgesetzt.
Dieser Modus ist nur ein klassischer Textübersetzer, aber immer nützlich.
RTranslator verwendet Metas NLLB für die Übersetzung und OpenAis Whisper für die Spracherkennung. Beide sind (fast) Open-Source- und hochmoderne KIs, haben eine hervorragende Qualität und laufen direkt auf dem Telefon, was absolute Privatsphäre und die Möglichkeit gewährleistet, RTranslator auch offline ohne zu verwenden Qualitätsverlust.
Außerdem funktioniert RTranslator auch im Hintergrund, wenn sich das Telefon im Standby-Modus befindet oder wenn andere Apps verwendet werden (nur wenn Sie den Konversations- oder WalkieTalkie-Modus verwenden). Allerdings schränken einige Telefone die Leistung im Hintergrund ein. In diesem Fall ist es daher besser, dies zu vermeiden und die App bei eingeschaltetem Bildschirm geöffnet zu lassen.
Neue GUI! Entworfen von Chiara Chindamo.
Dem Textübersetzungsmodus wurden Schaltflächen zum Sprechen und Kopieren hinzugefügt.
Option zur manuellen Steuerung der Mikrofone im WalkieTalkie-Modus hinzugefügt.
Option zur Verwendung minderwertiger Sprachen hinzugefügt.
Einige Fehler behoben.
Die vollständige Liste der Änderungen finden Sie hier.
Ich habe die KI-Modelle stark optimiert, um den RAM-Verbrauch und die Ausführungszeit zu minimieren. Um die App jedoch ohne das Risiko eines Absturzes verwenden zu können, benötigen Sie ein Telefon mit mindestens 6 GB RAM und einer ausreichend guten Ausführungszeit Sie benötigen ein Telefon mit einer ausreichend schnellen CPU.
Wenn Sie ein ziemlich schlechtes Telefon haben (oder maximale Geschwindigkeit wünschen), können Sie immer Version 1.0 von RTranslator verwenden (da es jedoch Google APIs verwendet, ist es nicht kostenlos und erfordert eine Ersteinrichtung).
Um die App zu installieren, laden Sie die neueste Version der App-Apk-Datei von https://github.com/niedev/RTranslator/releases/ herunter und installieren Sie sie (ignorieren Sie die anderen Dateien, diese werden beim ersten Start automatisch von der App heruntergeladen). ).
Beim ersten Start lädt RTranslator automatisch die Modelle für die Übersetzung und Spracherkennung (1,2 GB) herunter und sobald Sie fertig sind, können Sie mit der Übersetzung beginnen.
Beim ersten Download werden die Modelle von GitHub abgerufen, allerdings ist GitHub in einigen Regionen sehr langsam. Wer Probleme dieser Art hat, kann die Modelle separat von einem Computer herunterladen (oder allgemein auf die von ihm bevorzugte Weise) und sie manuell in das einfügen App gemäß dieser Anleitung.
Wenn Sie ein GitHub-Konto haben und benachrichtigt werden möchten, wenn eine neue Version herauskommt, können Sie dies tun, indem Sie oben auf der Seite auf „Beobachten“ -> „Benutzerdefiniert“ -> „Versionen“ -> „Übernehmen“ klicken. .
Die unterstützten Sprachen sind wie folgt:
Arabisch, Bulgarisch, Katalanisch, Chinesisch, Kroatisch, Tschechisch, Dänisch, Niederländisch, Englisch, Finnisch, Französisch, Galizisch, Deutsch, Griechisch, Italienisch, Japanisch, Koreanisch, Mazedonisch, Polnisch, Portugiesisch, Rumänisch, Russisch, Slowakisch, Spanisch, Schwedisch, Tamilisch, Thailändisch, Türkisch, Ukrainisch, Urdu, Vietnamesisch.
Wenn Ihre Sprache nicht auf der Liste steht, können Sie ab Version 2.1 von RTranslator in den Einstellungen die Option „ Sprachen mit geringer Qualität unterstützen “ aktivieren, um die folgenden Sprachen hinzuzufügen (die eine geringere Qualität für Übersetzung und Spracherkennung haben):
Afrikaans, Akan (nur Text), Amharisch, Assamesisch, Bambara (nur Text), Bangla, Baschkirisch, Baskisch, Weißrussisch, Bosnisch, Dzongkha (nur Text), Esperanto (nur Text), Estnisch, Ewe (nur Text), Färöisch, Fidschianisch (nur Text), Georgisch, Guarani (nur Text), Gujarati, Hausa, Hebräisch, Hindi, Ungarisch, Javanisch (nur Text), Kannada, Kashmiri (nur). Text), Kasachisch, Kikuyu (nur Text), Kinyarwanda (nur Text), Koreanisch, Kirgisisch (nur Text), Laotisch, Limburgisch (nur Text), Lingala, Litauisch, Luxemburgisch, Mazedonisch, Tagalog (nur Text), Tibetisch.
Zum Sprechen verwendet RTranslator die System-TTS Ihres Telefons, sodass dessen Qualität und die unterstützten Sprachen von der System-TTS Ihres Telefons abhängen.
Die oben aufgeführten unterstützten Sprachen sind alle mit Google TTS kompatibel, dem empfohlenen TTS (obwohl Sie das gewünschte TTS verwenden können).
Um das System-TTS (und damit das von RTranslator verwendete TTS) zu ändern, laden Sie das TTS, das Sie verwenden möchten, aus dem Play Store oder von der von Ihnen bevorzugten Quelle herunter und öffnen Sie RTranslator, dann seine Einstellungen (oben rechts) und im Klicken Sie im Abschnitt „Ausgabe“ auf „Text to Speech“. An dieser Stelle werden die Systemeinstellungen in dem Abschnitt geöffnet, in dem Sie die bevorzugte System-TTS-Engine (unter den installierten) auswählen können. An dieser Stelle können Sie die bevorzugte Engine ändern , starten Sie RTranslator neu die Änderungen übernehmen.
Privatsphäre ist ein Grundrecht. Deshalb erhebt RTranslator keine personenbezogenen Daten (ich habe nicht einmal einen Server). Weitere Informationen finden Sie in der Datenschutzrichtlinie (im Moment gilt die gleiche Datenschutzrichtlinie wie bei RTranslator 1.0, ich werde sie jedoch in Zukunft aktualisieren).
Der RTranslator-Code ist vollständig Open Source, aber einige der externen Bibliotheken, die er verwendet, verfügen über weniger freizügige Lizenzen. Dies sind alle externen Bibliotheken, die von der App verwendet werden (mit Angabe ihrer Lizenz):
BluetoothCommunicator (Open-Source): Wird für die Bluetooth LE-Kommunikation zwischen Geräten verwendet.
GalleryImageSelector (Open-Source): Wird zum Auswählen und Zuschneiden des Profilbilds aus der Galerie verwendet.
OnnxRuntime (Open-Source): Wird als Beschleuniger-Engine für die KI-Modelle verwendet.
SentencePiece (Open-Source): Wird zur Tokenisierung des Eingabetextes für NLLB verwendet.
Ml Kit (Closed-Source): Wird zur Identifizierung der Sprache im WalkieTalkie-Modus verwendet.
Und die folgenden KI-Modelle:
NLLB (Open Source, aber nur für nichtkommerzielle Nutzung): Das verwendete Modell ist NLLB-Distilled-600M mit KV-Cache.
Whisper (Open-Source): Das verwendete Modell ist Whisper-Small-244M mit KV-Cache.
Ich habe sowohl NLLB als auch Whisper in das ONNX-Format konvertiert und in int8 quantisiert (einige Gewichte ausgenommen, um nahezu keinen Qualitätsverlust zu gewährleisten). Außerdem habe ich einige Teile der Modelle getrennt, um den RAM-Verbrauch zu reduzieren (ohne diese Trennung wurden einige Gewichte zur Laufzeit dupliziert, was mehr verbrauchte). RAM als erwartet) und weitere Optimierungen vorgenommen, um die Ausführungszeit zu verkürzen.
Hier sind die Ergebnisse meiner Optimierungen:
| normales NLLB Onnx-Modell (vollständig int8, kein KV-Cache) | RTranslator NLLB Onnx-Modell (teilweise int8, mit KV-Cache, getrennte Teile) | |
|---|---|---|
| RAM-Verbrauch | 2,5 GB | 1,3 GB (1,9-fache Verbesserung) |
| Ausführungszeit für 75 Token | 8s | 2s (4x Verbesserung) |
| Mit Olive optimiertes Whisper-Onnx-Modell (vollständig int8, mit KV-Cache) | RTranslator Whisper Onnx-Modell (teilweise int8, mit KV-Cache, getrennte Teile) | |
|---|---|---|
| RAM-Verbrauch | 1,4 GB | 0,9 GB (1,5-fache Verbesserung) |
| Ausführungszeit für 11s Audio | 1,9s | 1,6 s (1,2-fache Verbesserung) |
Hinweis: Das RTranslator Whisper-Modell kann ebenfalls 0,5 GB RAM verbrauchen, jedoch mit einer Ausführungszeit von 2,1 Sekunden (dieser Modus wird für Telefone mit weniger als 8 GB RAM verwendet).
Dies ist eine Open-Source- und völlig werbefreie App, ich verdiene kein Geld damit.
Wenn Ihnen die App gefällt und Sie sich bedanken und das Projekt unterstützen möchten, können Sie über PayPal spenden, indem Sie auf die Schaltfläche unten klicken (jeder Betrag wird gerne angenommen).
Falls Sie spenden oder einfach nur einen Stern leben, vielen Dank ❤️
Wenn Sie einen Fehler gefunden haben, melden Sie ihn bitte, indem Sie ein Problem öffnen oder eine E-Mail an [email protected] schreiben
Viel Spaß mit Ihrem Simultanübersetzer.
