misty azure Download - misty azure Source Code Download

misty azure

Anderer Quellcode

Herunterladen

neblige Gesprächsfähigkeiten

Eine erste Pass -Konversationsfähigkeit mit Mistys wichtiger Ausdruckserkennung (Wake Word), Azure Speech to Text (STT) und Azure Text to Speechs (TTS)

https://github.com/wwlib/misty-azure

Misty II - Gesprächsfähigkeiten (v2) https://youtu.be/-dte3khrmnq

Misty II - Gesprächsfähigkeiten (v2) mit Konsole https://youtu.be/hjd_yyee2v8

Hinweise zur Verwendung von Luis NLU https://medium.com/@andrew.rapo/robokit-setting-up-azure-cognitive-services-speech-luis-nlu-fb39f5dc957

Azure -Funktions -Apps

Die Azure -Dienste werden als Funktion Apps implementiert

Audiotointent nimmt eine Audioeingabe und eine NLU -Absicht (verwendet von Conversation Skill V2)
TextTospeech nimmt eine Texteingabe an und gibt eine TTS -Antwort zurück (verwendet von Conversation Skill V2)
AudiotottSresponse nimmt einen Audioeingang und gibt eine TTS -Antwort zurück (verwendet von Conversation Skill V1)

Konversationskompetenz V2 ruft die Audiointent-Funktions-App mit Misty's Misty.SendexternalRequest () On-Robot-API-Anruf auf. Die Funktion App trifft Luis NLU auf und gibt dann eine Absicht als Zeichenfolge zurück.

Anschließend ruft Conversation Skill V2 die textTospeech -Funktions -App auf und spielt das zurückgegebene Audio ab.

Konversationskompetenz V2 verwendet Misty.StartKeyphraserecognition (), um auf den Schlüsselsatz "Hey Misty" zu hören (dh Wake-up Word)

Beispiel

Mit Gespräch V2 Fertigkeit laufend:

Sag "Hey, neblig"
Misty wird sie zu Blue setzen, um anzuzeigen, dass sie zuhört
Sagen Sie "Kennen Sie Witze?"
Misty wird sagen: "Wo hält der General seine Armeen? ,, in den Ärmeln."
Sag "Hey, neblig"
Misty wird sie zu Blue setzen, um anzuzeigen, dass sie zuhört
Sagen Sie "Wie spät ist es?"
Misty wird sagen: "Die Zeit ist aktuell ."

Azure Funciton Beispiel: Audiointent

Dieser Ordner enthält den Code für eine Azure Fucnction -App, die Audio von Misty verarbeitet und eine Absicht zurückgibt. Die Funktion verwaltet:

Rede zum Text
Text zur Absicht (NLU über Luis)

 try {
    const accessToken = await getAccessToken ( ) ;
    const utterance = await speechToText ( accessToken , audioBase64 , context ) ;
    await textToIntent ( accessToken , utterance , context ) ;
} catch ( err ) {
    context . log ( `Something went wrong: ${ err } ` ) ;
}

HINWEIS: Jede Funktion benötigt Daten aus ihrer config.json :

 {
    "Microsoft": {
        "AzureSpeechSubscriptionKey": "<YOUR-BING-SUBSCRIPTION-KEY>",
        "nluLUIS_endpoint": "https://westus.api.cognitive.microsoft.com/luis/v2.0/apps/",
        "nluLUIS_appId": "<YOUR-LUIS-APP-ID>",
        "nluLUIS_subscriptionKey": "<YOUR-LUIS-SUBSCRIPTION-KEY>"
    }
}

Werkzeuge

Die Tools Foldler enthält Knoten/JavaScript -Tools zum Testen der Aufrufe zu Azure:

post-to-azure-edio-to-intent.js
Post-to-Azure-Audio-to-TTS-Response.js
post-to-azure-text-to-tts.js
Test-Azure-Speech-Bae64.js
Test-Azure-Speech-wav.js
Test-Azure-Tts.js
Test-luis-nlu.js

Hinweis: Jedes dieser Tools erfordert Daten von config.json :

 {
    "Microsoft": {
        "AudioToTTSFunctionURL": "",
        "AudioToIntentFunctionURL": "",
        "TextToTTSFunctionURL": ""
    }
}

Referenz

Miser

https://docs.microsoft.com/en-us/azure/cognitive-services/speech-service/rest-speech-to-text
https://www.henkboelman.com/speech-to-text-an-azure-function-using-the-bing-speech-api/
https://docs.microsoft.com/en-us/azure/cognitive-services/speech-service/quickstart-js-node
https://docs.microsoft.com/en-us/azure/cognitive-services/speech-service/troubleshooting
https://www.twilio.com/docs/usage/tutorials/serverless-webhooks-azure-functions-node-js