misty azure

compétence de conversation brumeuse

Une première compétence de conversation de passe utilisant la reconnaissance de la phrase clé de Misty (Wake Word), Azure Speech to Text (STT) et Azure Text to Speech (TTS)

https://github.com/wwlib/misty-azure

Misty II - Compétence de conversation (v2) https://youtu.be/-dte3khrmnq

Misty II - Compétence de conversation (v2) avec console https://youtu.be/hjd_yyee2v8

Remarques sur l'utilisation de Luis nlu https://medium.com/@andrew.rapo/robokit-setting-zure-azure-cognititive-services-bing-speech-luis-nlu-fbb39f5dc957

Applications de fonction Azure

Les services Azure sont implémentés comme des applications de fonction

• AudiotOINTENT prend une entrée audio et une intention NLU (utilisée par Conversation Skill v2)
• TextTospeech prend une entrée de texte et renvoie une réponse TTS (utilisée par Conversation Skill v2)
• AutiotottsResponse prend une entrée audio et renvoie une réponse TTS (utilisée par Conversation Skill v1)

Compétence de conversation V2 appelle l'application de fonction audio-point à l'aide de Misty's Misty.SendExternalRequest () API ON-ROBOT API. L'application de fonction passe un appel à Luis NLU, puis renvoie une intention en tant que chaîne.

Ensuite, la compétence de conversation V2 appelle l'application de la fonction TextTospeech et joue l'audio qui est renvoyé.

Conversation Skill v2 utilise Misty.startKeyPhraseReCognition () pour écouter la phrase clé "Hey Misty" (c'est-à-dire le mot de réveil)

exemple

Avec Conversation V2 Compétence en cours d'exécution:

• Dis "Hé, Misty"

• Misty la mettra en bleue pour indiquer qu'elle écoute

• Dites "Connaissez-vous des blagues?"

• Misty dira: "Où le général garde-t-il ses armées? ,, Dans ses manches."

• Dis "Hé, Misty"

• Misty la mettra en bleue pour indiquer qu'elle écoute

• Dites "Quelle heure est-il?"

• Misty dira: "Le temps est en cours ."

Azure Funciton Exemple: AudiotOINTENT

Ce dossier contient le code d'une application de fucnction Azure qui traite l'audio de Misty et renvoie une intention. La fonction gère:

• discours au texte
• Texte à l'intention (NLU via Luis)

 try {
    const accessToken = await getAccessToken ( ) ;
    const utterance = await speechToText ( accessToken , audioBase64 , context ) ;
    await textToIntent ( accessToken , utterance , context ) ;
} catch ( err ) {
    context . log ( `Something went wrong: ${ err } ` ) ;
}

Remarque: chaque fonction nécessite des données de son config.json :

 {
    "Microsoft": {
        "AzureSpeechSubscriptionKey": "<YOUR-BING-SUBSCRIPTION-KEY>",
        "nluLUIS_endpoint": "https://westus.api.cognitive.microsoft.com/luis/v2.0/apps/",
        "nluLUIS_appId": "<YOUR-LUIS-APP-ID>",
        "nluLUIS_subscriptionKey": "<YOUR-LUIS-SUBSCRIPTION-KEY>"
    }
}

outils

Le dossier des outils contient des outils de nœud / javascript pour tester les appels à Azure:

• post-azure-audio-to-intention.js
• Post-to-azure-audio-tts-ponse.js
• post-to-azure-text-to-tts.js
• Test-azure-dispeach-bae64.js
• test-azure-dispeech-wav.js
• test-azure-tts.js
• test-luis-nlu.js

Remarque: chacun de ces outils nécessite des données de config.json :

 {
    "Microsoft": {
        "AudioToTTSFunctionURL": "",
        "AudioToIntentFunctionURL": "",
        "TextToTTSFunctionURL": ""
    }
}

référence

mission

• https://docs.microsoft.com/en-us/azure/cognititive-services/speech-service/rest-speech-thext
• https://www.henkboelman.com/speech-ttext-text-in-an-azure-function-using-the-bing-disech-api/
• https://docs.microsoft.com/en-us/azure/cognititive-services/spech-service/quickstart-js-node
• https://docs.microsoft.com/en-us/azure/cognititive-services/spech-service/trouleshooting
• https://www.twilio.com/docs/usage/tutorials/serverless-webhooks-azure-functions-and- node-js

Azuré

• https://markheath.net/post/avoiding-azure-functions-cold-starts