misty azure

Habilidade de conversa enevoada

Uma habilidade de conversação de primeiro passe usando o reconhecimento de frases -chave de Misty (Wake Word), discurso do Azure para Texto (STT) e Texto do Azure para Speech (TTS)

https://github.com/wwlib/misty-azure

Misty II - Habilidade de conversa (v2) https://youtu.be/-dte3khrmnq

Misty II - Habilidade de conversa (v2) com console https://youtu.be/hjd_yye2v8

Notas sobre o uso de luis nlu https://medium.com/@andrew.rapo/robokit-setting-um-azure-cognitivo-services-bing-speech-luis-nlu-fbb39f5dc957

Aplicativos de função do Azure

Os serviços do Azure são implementados como aplicativos de função

• O fósforo de fita toma uma entrada de áudio e uma intenção da NLU (usada por habilidades de conversa v2)
• TextTospeech pega uma entrada de texto e retorna uma resposta TTS (usada pela Conversation Skill V2)
• O FIOTOTTSRESPOSETE RETEM UMA ENTRADA DE ÁUDIO e retorna uma resposta TTS (usada pela Conversation Skill V1)

Habilidade de conversa V2 chama o aplicativo de função postente de audição usando a Misty's Misty.SendexternalRequest () On-Robot API Call. O aplicativo de função faz uma chamada para Luis NLU e depois retorna uma intenção como uma string.

Em seguida, a Habilidade de Conversação V2 chama o aplicativo TextToSpeech Function e reproduz o áudio que é retornado.

Habilidade de conversa V2 usa o Misty.StartKeyPhraseRecognition () para ouvir a frase-chave "Hey Misty" (ou seja, palavra de despertar)

exemplo

Com a conversão v2 Habilidade em execução:

• Diga "Ei, enevoado"

• Misty a colocará a levou a Blue para indicar que ela está ouvindo

• Diga "Você conhece alguma piada?"

• Misty dirá: "Onde o general mantém seus exércitos?, Em suas mangas".

• Diga "Ei, enevoado"

• Misty a colocará a levou a Blue para indicar que ela está ouvindo

• Diga "Que horas são?"

• Misty dirá: "A hora é a hora atual ".

Exemplo do Funciton do Azure:

Esta pasta contém o código para um aplicativo de fucnção do Azure que processa áudio da Misty e retorna uma intenção. A função gerencia:

• discurso para texto
• texto para intenções (NLU via Luis)

 try {
    const accessToken = await getAccessToken ( ) ;
    const utterance = await speechToText ( accessToken , audioBase64 , context ) ;
    await textToIntent ( accessToken , utterance , context ) ;
} catch ( err ) {
    context . log ( `Something went wrong: ${ err } ` ) ;
}

Nota: Cada função requer dados de seu config.json :

 {
    "Microsoft": {
        "AzureSpeechSubscriptionKey": "<YOUR-BING-SUBSCRIPTION-KEY>",
        "nluLUIS_endpoint": "https://westus.api.cognitive.microsoft.com/luis/v2.0/apps/",
        "nluLUIS_appId": "<YOUR-LUIS-APP-ID>",
        "nluLUIS_subscriptionKey": "<YOUR-LUIS-SUBSCRIPTION-KEY>"
    }
}

ferramentas

As ferramentas Foldler contém ferramentas de nó/javascript para testar as chamadas para o Azure:

• pós-a-azer-audio to-intent.js
• pós-azure-audio to tts-sponse.js
• Pós-Azure-Text to tts.js
• Teste-azure-declara-bae64.js
• Teste-azure-declara-wav.js
• test-azure-tts.js
• test-luis-nlu.js

Nota: Cada uma dessas ferramentas requer dados do config.json :

 {
    "Microsoft": {
        "AudioToTTSFunctionURL": "",
        "AudioToIntentFunctionURL": "",
        "TextToTTSFunctionURL": ""
    }
}

referência

misc

• https://docs.microsoft.com/en-us/azure/Cognitive-Services/Speech-Service/rest -preech-to-Text
• https://www.henkboelman.com/speech-to-text-in-an-azure-function-using-the-bing-speech-api/
• https://docs.microsoft.com/en-us/azure/Cognitive-Services/Speech-Service/quickstart-js-node
• https://docs.microsoft.com/en-us/azure/Cognitive-Services/Speech-Service/TroubleSleshooting
• https://www.twilio.com/docs/usage/tutorials/serverless-webhooks-azure-functions-and-hode-js

Azure

• https://markheath.net/post/avoiding-azure-functions-cold-starts