ASRInferenceEngine

Сервер вывода для моделей ASR

Обзор

Это сервер на базе FastAPI, который действует как интерфейс между вашим приложением и облачными службами искусственного интеллекта. Он ориентирован на три основные задачи:

1. Преобразование речи в текст (транскрипция)
2. Преобразование текста в речь
3. Преобразование речи в речь (комбинация двух вышеперечисленных)

В настоящее время для этих сервисов он использует API OpenAI, но он спроектирован таким образом, чтобы в будущем мы могли добавлять других поставщиков.

Функции

1. Транскрипция (преобразование речи в текст)

   • Асинхронная загрузка и транскрипция файлов
   • Потоковая транскрипция через WebSocket

2. Преобразование текста в речь

   • Преобразование текста в речь с различными голосовыми опциями

3. Речь в речь

   • Преобразование речевого ввода в текст, а затем обратно в речь
   • Поддержка загрузки и потоковой передачи файлов через WebSocket.

Структура проекта

 .
├── cloud_providers/
│   ├── base.py
│   └── openai_api_handler.py
├── server/
│   ├── main.py
│   ├── routers/
│   │   ├── transcribe.py
│   │   ├── tts.py
│   │   └── speech_to_speech.py
│   └── utils/
│       └── logger.py
|
└── requirements.txt
└── README.md

Настройка и установка

1. Клонировать репозиторий

2. Создайте виртуальную среду:

   python -m venv venv
   source venv/bin/activate

3. Установите зависимости:

    pip install -r requirements
   

4. Настройте переменные среды:

    export OPENAI_API_KEY=your_openai_api_key
   

Запуск сервера

Чтобы запустить сервер, перейдите в каталог проекта и запустите:

 python server/main.py

Это запустит сервер FastAPI, обычно по адресу http://localhost:8000 .

• Для получения более подробной информации об API проверьте API docs

Ведение журнала

Приложение использует чередующиеся обработчики файлов для журналирования с отдельными файлами журналов для разных компонентов:

• logs/main.log : основные журналы приложения.
• logs/transcription.log : журналы, специфичные для транскрипции.
• logs/tts.log : журналы преобразования текста в речь.
• logs/speech_to_speech.log : журналы преобразования речи в речь

Обработка ошибок

Приложение включает обработку ошибок для различных сценариев, включая ошибки API и отключения WebSocket. Ошибки регистрируются и создаются соответствующие исключения HTTP.

Расширяемость

Проект разработан с учетом возможности расширения. Абстрактный базовый класс CloudProviderBase в base.py позволяет легко интегрировать дополнительных поставщиков облачных услуг помимо OpenAI.

Вопросы безопасности

• Убедитесь, что ваш ключ API OpenAI хранится в безопасности и не отображается в коде или системе контроля версий.
• В настоящее время сервер разрешает все источники в настройках CORS. В производственной среде вам следует ограничить это конкретными разрешенными источниками.

Будущие улучшения

1. Добавьте поддержку дополнительных поставщиков облачных услуг (например, Google Cloud, Azure).
2. Добавьте дополнительные параметры конфигурации для моделей AI.
3. Улучшите обработку ошибок и предоставьте более подробные сообщения об ошибках.

Содействие

Вклады приветствуются! Пожалуйста, не стесняйтесь отправить запрос на включение.

Лицензия

[Укажите здесь свою лицензию]