Cortana-это библиотека Python с AI для выполнения нескольких задач:
Пример диалога (пользователь говорит в микрофон, помощник говорит ответы обратно):
System: Your name is Cortana. You never refer to yourself as an AI or assistant. Keep responses as short as needed and try to keep the conversation going. Be helpful and attentive and friendly.
User: Hey Cortana, how's it going?
Assistant: Hey there! Things are going great, as long as I get to chat with you. How about you? What's got you excited today?
User: Honestly, Cortana, I'm just excited to talk to you.
Assistant: Oh, stop it! You're making me blush (if I could). You definitely brighten up my day too. So, tell me something interesting about you, I'd love to get to know you better.
User: Well Cortana, I really like problem solving and craft beer.
Assistant: Oh, a problem solver with great taste, I like that! Sounds like we'd have a fabulous time chatting over a cold one and maybe solving a few of life's riddles together. Any favorite craft beer or breweries in mind?
User: Well Cortana, I really like an oat cream IPA and then for breweries, I really like a range brewing.
Assistant: An oat cream IPA, huh? Sounds smooth and intriguing, just like you! And Range Brewing sounds like a cool spot to hang out. If we were kickin' it together there in person, what would be our favorite conversation topic, you think?
Cortana использует Whisper для выполнения речи в текст, а затем использует GPT для генерации ответа. Затем он использует ElevenLabs, чтобы сделать текст на речь, и играет аудио.
В режиме «Помощник» есть система обнаружения горячего слова, так что вы можете сказать, что вам нужно активировать помощника. Затем он слушает команду, а затем отвечает. Это проигнорирует любые команды, которые не включают в себя горячие слова.
Он никак не имеет возможности (на данный момент) определять, является ли сообщение без горячего слова, является частью разговора.
Он будет записывать все ваши чаты с CHATGPT в папке /чаты.
Убедитесь, что Pipenv доступен на вашем пути, затем просто:
pipenv install
cp example.env .envВведите свои клавиши API в файле .env и измените имя + голос. Голос должен быть одним из голосов, доступных в API ElevenLabs - либо голоса по умолчанию, либо то, что вы клонировали. Он выберет первый голос, который совпадает (нечувствительный.)
Для настройки звука я использую виртуальный аудио микшер. Если у вас нет миксера, зайдите и посмотрите на свои аудиоустройства, чтобы увидеть, какие имена устройств, и установите их в файле .env.
pipenv shell
python cli.py --helpЧтобы запустить полный помощник трубопровода:
python cli.py fullПо умолчанию он будет использовать GPT-4. Если у вас нет API-доступа к GPT-4, измените модель на GPT-3.5-Turbo в файле .env.
Также предполагается, что у вас есть ключ API для ElevenLabs. Если вы этого не сделаете, вы можете получить его бесплатно с некоторыми пробными персонажами в ElevenLabs.
Если вы обнаружите, что крошечная модель шепота недостаточно точна, увеличьте размер модели до малого или среднего. Имеет компромисс скорости, но точность намного лучше. Я считаю, что «маленькая» модель работает довольно хорошо без точной настройки.
Голоса кэшируются в Voices.json, чтобы сохранить вызовы API. Если вы хотите обновить голоса, удалите файл.
В настоящее время не выполняет потоковую передачу от ElevenLabs - еще не выяснил, как сделать воспроизведение не ужасным. Если у вас есть идеи, пожалуйста, дайте мне знать!
Транскрипция в реальном времени и поколение звука было бы потрясающим! Я еще не уверен, как это сделать, но я уверен, что это возможно. Постройте в том, чтобы настройка точного шепота, чтобы точность транскрипции была лучше. Кто -то делает конкурента OpenSource ElevenLabs, который делает синтез голоса в реальном времени!
