ASRInferenceEngine

Inferenzserver für ASR-Modelle

Überblick

Dabei handelt es sich um einen FastAPI-basierten Server, der als Schnittstelle zwischen Ihrer Anwendung und cloudbasierten KI-Diensten fungiert. Es konzentriert sich auf drei Hauptaufgaben:

1. Sprache in Text umwandeln (Transkription)
2. Text in Sprache umwandeln
3. Sprache in Sprache umwandeln (eine Kombination der beiden oben genannten)

Derzeit wird für diese Dienste die API von OpenAI verwendet, sie ist jedoch so konzipiert, dass wir in Zukunft weitere Anbieter hinzufügen können.

Merkmale

1. Transkription (Speech-to-Text)

   • Asynchroner Datei-Upload und Transkription
   • Streaming-Transkription über WebSocket

2. Text-to-Speech

   • Wandeln Sie Text mit verschiedenen Sprachoptionen in Sprache um

3. Speech-to-Speech

   • Konvertieren Sie Spracheingaben in Text und dann wieder zurück in Sprache
   • Unterstützung sowohl für das Hochladen von Dateien als auch für das Streaming über WebSocket

Projektstruktur

 .
├── cloud_providers/
│   ├── base.py
│   └── openai_api_handler.py
├── server/
│   ├── main.py
│   ├── routers/
│   │   ├── transcribe.py
│   │   ├── tts.py
│   │   └── speech_to_speech.py
│   └── utils/
│       └── logger.py
|
└── requirements.txt
└── README.md

Einrichtung und Installation

1. Klonen Sie das Repository

2. Erstellen Sie eine virtuelle Umgebung:

   python -m venv venv
   source venv/bin/activate

3. Abhängigkeiten installieren:

    pip install -r requirements
   

4. Umgebungsvariablen einrichten:

    export OPENAI_API_KEY=your_openai_api_key
   

Starten des Servers

Um den Server zu starten, navigieren Sie zum Projektverzeichnis und führen Sie Folgendes aus:

 python server/main.py

Dadurch wird der FastAPI-Server gestartet, normalerweise unter http://localhost:8000 .

• Weitere Informationen zur API finden Sie API docs

Protokollierung

Die Anwendung verwendet rotierende Dateihandler für die Protokollierung mit separaten Protokolldateien für verschiedene Komponenten:

• logs/main.log : Hauptanwendungsprotokolle
• logs/transcription.log : Transkriptionsspezifische Protokolle
• logs/tts.log : Text-to-Speech-Protokolle
• logs/speech_to_speech.log : Speech-to-Speech-Protokolle

Fehlerbehandlung

Die Anwendung umfasst eine Fehlerbehandlung für verschiedene Szenarien, einschließlich API-Fehler und WebSocket-Verbindungsabbrüche. Fehler werden protokolliert und entsprechende HTTP-Ausnahmen werden ausgelöst.

Erweiterbarkeit

Das Projekt ist auf Erweiterbarkeit ausgelegt. Die abstrakte Basisklasse CloudProviderBase in base.py ermöglicht die einfache Integration zusätzlicher Cloud-Anbieter über OpenAI hinaus.

Sicherheitsüberlegungen

• Stellen Sie sicher, dass Ihr OpenAI-API-Schlüssel sicher aufbewahrt und nicht im Code oder in der Versionskontrolle offengelegt wird.
• Der Server lässt derzeit alle Ursprünge in den CORS-Einstellungen zu. In einer Produktionsumgebung sollten Sie dies auf bestimmte zulässige Ursprünge beschränken.

Zukünftige Verbesserungen

1. Unterstützung für zusätzliche Cloud-Anbieter hinzufügen (z. B. Google Cloud, Azure)
2. Fügen Sie weitere Konfigurationsoptionen für die KI-Modelle hinzu
3. Verbessern Sie die Fehlerbehandlung und stellen Sie detailliertere Fehlermeldungen bereit

Mitwirken

Beiträge sind willkommen! Bitte senden Sie gerne einen Pull Request.

Lizenz

[Geben Sie hier Ihre Lizenz an]