misty azure

туманный навык разговора

Первый навык для разговора с использованием распознавания ключевой фразы Мисти (Wake Word), лазурной речи к тексту (STT) и текста Azure к речи (TTS)

https://github.com/wwlib/misty-azure

Мисти II - навык разговора (v2) https://youtu.be/-dte3khrmnq

Мисти II - навык разговора (v2) w/console https://youtu.be/hjd_yyee2v8

Примечания об использовании Luis nlu https://medium.com/@andrew.rapo/robokit-setting-uzure-cognitive-services-bing-peech-luis-nlu-fbb39f5dc957

Azure Function Apps

Услуги Azure реализованы как функциональные приложения

• AudiTointent берет аудио вход и намерение NLU (используется навыком разговора v2)
• TextTospeech принимает текстовый ввод и возвращает ответ TTS (используется навыком разговора v2)
• Audiotottsresponse берет аудио ввод и возвращает ответ TTS (используется навыком разговора v1)

Colling Skill V2 вызывает приложение функции AudiTointent, используя Disty's Misty.sendexternalrequest () в On-Robot API. Функциональное приложение делает вызов Luis NLU, а затем возвращает намерение в качестве строки.

Затем Surving Skill V2 называет приложение TextTospeech Function и воспроизводит возвращаемое звук.

Congrange Skill v2 использует Misty.StartKeyPhrasereCognition (), чтобы послушать ключевую фразу «эй, туманная» (т.е.

пример

С разговором v2 навыки бега:

• Скажи "Эй, туман"

• Мисти заставит ее привести в синий, чтобы указать, что она слушает

• Скажите "Вы знаете какие -нибудь шутки?"

• Мисти скажет: «Где генерал держит свои армии?

• Скажи "Эй, туман"

• Мисти заставит ее привести в синий, чтобы указать, что она слушает

• Скажи "Во сколько?"

• Мисти скажет: «Время в настоящее время ».

Azure Funciton Пример: аудиотный точка

Эта папка содержит код для приложения для Azure Fucnction, которое обрабатывает аудио из Mistey и возвращает намерение. Функция управляет:

• речь в текст
• текст к намерению (NLU через Луис)

 try {
    const accessToken = await getAccessToken ( ) ;
    const utterance = await speechToText ( accessToken , audioBase64 , context ) ;
    await textToIntent ( accessToken , utterance , context ) ;
} catch ( err ) {
    context . log ( `Something went wrong: ${ err } ` ) ;
}

Примечание. Каждая функция требует данных из своего config.json :

 {
    "Microsoft": {
        "AzureSpeechSubscriptionKey": "<YOUR-BING-SUBSCRIPTION-KEY>",
        "nluLUIS_endpoint": "https://westus.api.cognitive.microsoft.com/luis/v2.0/apps/",
        "nluLUIS_appId": "<YOUR-LUIS-APP-ID>",
        "nluLUIS_subscriptionKey": "<YOUR-LUIS-SUBSCRIPTION-KEY>"
    }
}

инструменты

Инструменты складки содержит инструменты Node/JavaScript для тестирования вызовов в Azure:

• Пост-азор-audio-to-intent.js
• Пост-азор-Audio-to-TTS-response.js
• Post-to-azure-text-to-tts.js
• Test-azure-speech-bae64.js
• Test-azure-speech-wav.js
• Test-azure-tts.js
• Test-luis-nlu.js

Примечание. Каждый из этих инструментов требует данных от config.json :

 {
    "Microsoft": {
        "AudioToTTSFunctionURL": "",
        "AudioToIntentFunctionURL": "",
        "TextToTTSFunctionURL": ""
    }
}

ссылка

Разное

• https://docs.microsoft.com/en-us/azure/cognitive-services/speech-service/rest-speech-to-text
• https://www.henkboelman.com/speech-to-text-in-an-azure-function-using-the-bing-peech-api/
• https://docs.microsoft.com/en-us/azure/cognitive-services/speech-service/quickstart-js-node
• https://docs.microsoft.com/en-us/azure/cognitive-services/speech-service/troubleshooting
• https://www.twilio.com/docs/usage/tutorials/serverless-webhooks-azure-functs-and-node-js

Лазур

• https://markheath.net/post/avoiding-azure-functions-d-starts