ASRInferenceEngine

Servidor de Inferência para modelos ASR

Visão geral

Este é um servidor baseado em FastAPI que atua como uma interface entre seu aplicativo e os serviços de IA baseados em nuvem. Ele se concentra em três tarefas principais:

1. Convertendo fala em texto (transcrição)
2. Convertendo texto em fala
3. Convertendo fala em fala (uma combinação das duas acima)

Atualmente, ele usa a API da OpenAI para esses serviços, mas foi projetado para que possamos adicionar outros provedores no futuro.

Características

1. Transcrição (fala para texto)

   • Upload e transcrição assíncrona de arquivos
   • Transmissão de transcrição via WebSocket

2. Texto para fala

   • Converta texto em fala com várias opções de voz

3. Fala para fala

   • Converta a entrada de fala em texto e depois volte para fala
   • Suporte para upload e streaming de arquivos via WebSocket

Estrutura do Projeto

 .
├── cloud_providers/
│   ├── base.py
│   └── openai_api_handler.py
├── server/
│   ├── main.py
│   ├── routers/
│   │   ├── transcribe.py
│   │   ├── tts.py
│   │   └── speech_to_speech.py
│   └── utils/
│       └── logger.py
|
└── requirements.txt
└── README.md

Configuração e instalação

1. Clonar o repositório

2. Crie um ambiente virtual:

   python -m venv venv
   source venv/bin/activate

3. Instale dependências:

    pip install -r requirements
   

4. Configure variáveis ​​de ambiente:

    export OPENAI_API_KEY=your_openai_api_key
   

Iniciando o servidor

Para iniciar o servidor, navegue até o diretório do projeto e execute:

 python server/main.py

Isso iniciará o servidor FastAPI, normalmente em http://localhost:8000 .

• Para obter mais detalhes sobre a API, verifique API docs

Registro

O aplicativo usa manipuladores de arquivos rotativos para registro, com arquivos de registro separados para diferentes componentes:

• logs/main.log : principais logs do aplicativo
• logs/transcription.log : logs específicos da transcrição
• logs/tts.log : registros de conversão de texto em fala
• logs/speech_to_speech.log : registros de fala para fala

Tratamento de erros

O aplicativo inclui tratamento de erros para vários cenários, incluindo erros de API e desconexões de WebSocket. Os erros são registrados e as exceções HTTP apropriadas são geradas.

Extensibilidade

O projeto foi projetado tendo em mente a extensibilidade. A classe base abstrata CloudProviderBase em base.py permite fácil integração de provedores de nuvem adicionais além do OpenAI.

Considerações de segurança

• Certifique-se de que sua chave de API OpenAI seja mantida segura e não exposta no código ou no controle de versão.
• O servidor atualmente permite todas as origens nas configurações do CORS. Em um ambiente de produção, você deve restringir isso a origens específicas permitidas.

Melhorias Futuras

1. Adicione suporte para provedores de nuvem adicionais (por exemplo, Google Cloud, Azure)
2. Adicione mais opções de configuração para os modelos de IA
3. Melhore o tratamento de erros e forneça mensagens de erro mais detalhadas

Contribuindo

Contribuições são bem-vindas! Sinta-se à vontade para enviar uma solicitação pull.

Licença

[Especifique sua licença aqui]