misty azure

habilidad de conversación brumosa

Una habilidad de conversación de primera aprobación usando el reconocimiento de frases clave de Misty (palabra de wake), discurso de azul a texto (STT) y texto de texto a discurso (TTS)

https://github.com/wwlib/misty-azure

Misty II - Habilidad de conversación (V2) https://youtu.be/-dte3khrmnq

Misty II - Habilidad de conversación (V2) w/Console https://youtu.be/hjd_yyee2v8

Notas sobre el uso de Luis NLU https://medium.com/@andrew.rapo/robokit-setting-up-azure-cognitive-services-bing-speech-luis-nlu-fbb39f5dc957

Aplicaciones de funciones de azure

Los servicios de Azure se implementan como aplicaciones de función

• Audiotent toma una entrada de audio y una intención de la NLU (utilizada por la habilidad de conversación V2)
• TextTospeech toma una entrada de texto y devuelve una respuesta TTS (utilizada por la habilidad de conversación v2)
• AudiotottSponse toma una entrada de audio y devuelve una respuesta TTS (utilizada por la habilidad de conversación V1)

La habilidad de conversación V2 llama a la aplicación de la función de audio de audio utilizando Misty's Misty.SendExternalRequest () Llama de la API en Robot. La aplicación de funciones realiza una llamada a Luis NLU y luego devuelve una intención como cadena.

Luego, la habilidad de conversación V2 llama a la aplicación TextTospeech de la función y reproduce el audio que se devuelve.

La habilidad de conversación V2 usa Misty.StartKeyPhraserecognition () para escuchar la frase clave "Hey Misty" (es decir, palabra de despertar)

ejemplo

Con conversación V2 Habilidad Running:

• Di "Oye, Misty"

• Misty la establecerá llevó al azul para indicar que está escuchando

• Di "¿Conoces alguna broma?"

• Misty dirá: "¿Dónde guarda el general sus ejércitos? ,, en sus aguas".

• Di "Oye, Misty"

• Misty la establecerá llevó al azul para indicar que está escuchando

• Di "¿Qué hora es?"

• Misty dirá: "El tiempo es actual ".

Azure Funciton Ejemplo: Audiotent

Esta carpeta contiene el código para una aplicación Azure Fucnction que procesa el audio de Misty y devuelve una intención. La función maneja:

• discurso a texto
• texto a intención (NLU a través de Luis)

 try {
    const accessToken = await getAccessToken ( ) ;
    const utterance = await speechToText ( accessToken , audioBase64 , context ) ;
    await textToIntent ( accessToken , utterance , context ) ;
} catch ( err ) {
    context . log ( `Something went wrong: ${ err } ` ) ;
}

Nota: Cada función requiere datos de su config.json :

 {
    "Microsoft": {
        "AzureSpeechSubscriptionKey": "<YOUR-BING-SUBSCRIPTION-KEY>",
        "nluLUIS_endpoint": "https://westus.api.cognitive.microsoft.com/luis/v2.0/apps/",
        "nluLUIS_appId": "<YOUR-LUIS-APP-ID>",
        "nluLUIS_subscriptionKey": "<YOUR-LUIS-SUBSCRIPTION-KEY>"
    }
}

herramientas

Las herramientas Foldler contienen herramientas de nodo/JavaScript para probar las llamadas a Azure:

• Post-to-azure-audio to-intent.js
• Post-to-azure-audio-to-tts-resesponse.js
• Post-to-Azure-text-to-tts.js
• Test-aza de azar-bae64.js
• test-aZure-speech-wav.js
• test-azure-tts.js
• prueba-luis-nlu.js

Nota: Cada una de estas herramientas requiere datos de config.json :

 {
    "Microsoft": {
        "AudioToTTSFunctionURL": "",
        "AudioToIntentFunctionURL": "",
        "TextToTTSFunctionURL": ""
    }
}

referencia

maga

• https://docs.microsoft.com/en-us/azure/cognitive-services/speech-service/rest-sepech-to-text
• https://www.henkboelman.com/speech-to-text-in-an-azure-function-using-the-bingspeech-api/
• https://docs.microsoft.com/en-us/azure/cognitive-services/speech-service/quickstart-js-node
• https://docs.microsoft.com/en-us/azure/cognitive-services/speech-service/troudeshooting
• https://www.twilio.com/docs/usage/tutorials/serverless-webhooks-azure-functions-and-node-js

Azur

• https://markheath.net/post/avoiding-azure-functions-cold-starts