openai game translator

openai-переводчик игр

Приложение и веб-сервис для перевода аудио видеоигр на базе ChatGPT API

Обзор

Приложение для перевода игр, которое использует API ChatGPT для распознавания внутриигровой речи (TODO: и даже игровых визуальных эффектов) и обеспечивает плавный перевод текста на таких платформах, как Switch и PS5, благодаря мощным языковым возможностям GPT.

Предварительные условия

Если у вас еще нет локальных учетных данных для вашей учетной записи AWS, вы можете воспользоваться этим руководством, чтобы настроить их с помощью интерфейса командной строки AWS.

• Поскольку мы используем SDK amazon-transcribe, созданный на основе AWS Common Runtime (CRT), нестандартным операционным системам может потребоваться компилировать эти библиотеки самостоятельно.
• Следует как минимум установить переменные среды AWS_ACCESS_KEY_ID и AWS_SECRET_ACCESS_KEY и в профиле [default] ~/.aws/credentials .

Также убедитесь, что у вас есть portaudio , что является обязательным условием для pyAudio

sudo apt install portaudio19-dev # linux
brew install portaudio # macos 

Установка

Установите последнюю версию из pip

pip install openai-game-translator

Установить из репозитория github

git clone https://github.com/Erisae/openai-game-translator
cd openai-game-translator
make install

Быстрый старт

Использование терминала

Чтобы перевести звук в текст в терминале, используйте команду translate . Самый простой способ добиться этого — использовать транскрипцию мультимедиа AWS в реальном времени и перевод на основе GPT , как показано ниже:

translate --openai_key < openai_key > -i < input_language > -o < output_language > aws_live

• <openai_key> : для вывода модели GPT для перевода требуется действительный ключ API OpenAI.
• <input_language> : язык аудио, которое нужно расшифровать.
• <output_language> : целевой язык перевода.
• aws_live : этот параметр использует модель транскрипции прямого потока AWS, позволяя загружать поток голосовых данных в сервисы AWS с помощью AWS SDK во время записи голоса. Другие доступные модели транскрипции аудио включают aws_pre и xunfei , но они требуют дополнительных аргументов, таких как --file , --pre_recorded и токены API транскрипции аудио из xunfei.
• Обратите внимание, что aws_live , aws_pre , xunfei работают как подкоманды. Перед выполнением этих подкоманд убедитесь, что openai_key , input_language и output_language назначены, иначе значения аргументов могут быть распознаны неправильно. Дополнительную информацию о том, как использовать пакет в командной строке, см. в документации.

Использование скрипта

В скрипте просто передайте aws_live для инициализации gameTranslator , translator.openai_translation() переведет китайское аудио в английский текст.

 import openai
from game_translator import gameTranslator

openai . api_key = "<openai_key>"
translator = gameTranslator ( "aws_live" , input_language = "chinese" , output_language = "english" )
translator . openai_translation ()

Примеры

Предварительно записанный пример оболочки xunfei

translate --openai_key < openai_key >  -o english -i chinese xunfei --xunfei_appid < xunfei_appid > --xunfei_apikey  < xunfei_apikey > --xunfei_apisecret < xunfei_apisecret > --file audio_sample_little.wav --pre_recorded

 ****************************************
Transcription model : xunfei
Using prerecorded audio file : audio_sample_little.wav
Input  language : chinese
Output language : english
****************************************
transcription success...
科大讯飞是中国最大的智能语音技术提供商。
translation success...
iFlytek is the largest intelligent voice technology provider in China.
Elapsed time: 3.813 seconds

Живой пример скрипта AWS

 translator = gameTranslator ( "aws_live" )
translator . openai_translation ()

 ****************************************
Transcription model : aws_live
Using prerecorded audio file : None
Input  language : chinese
Output language : english
****************************************
start detecting audio...
current rms: # #                  |
detecting finished...
transcription success...
明天的期末考试我能考多少
translation success...
How much can I score on tomorrow ' s final exam?
Elapsed time: 9.155 seconds 

Содействие

Подробности смотрите на CONTRIBUTING.md.