misty azure Download - Download Kode Sumber misty azure

misty azure

Kode sumber lainnya

Unduh

keterampilan percakapan yang berkabut

Keterampilan percakapan lulus pertama menggunakan pengenalan frasa kunci Misty (Wake Word), Azure Speech to Text (STT) dan Azure Text to Speect (TTS)

https://github.com/wwlib/misty-azure

Misty II - Skill Conversation (V2) https://youtu.be/-dte3khrmnq

Misty II - Keterampilan Percakapan (V2) w/konsol https://youtu.be/hjd_yyee2v8

Catatan tentang penggunaan Luis Nlu https://medium.com/@andrew.rapo/robokit-setting-up-azure-cognitive-services-bing-sheech-luis-nlu-fbb39f5dc957

Aplikasi fungsi Azure

Layanan Azure diimplementasikan sebagai aplikasi fungsi

Audiotointent mengambil input audio dan niat NLU (digunakan oleh Conversation Skill v2)
TextTospeech mengambil input teks dan mengembalikan respons TTS (digunakan oleh Conversation Skill V2)
AudiotottsResponse mengambil input audio dan mengembalikan respons TTS (digunakan oleh Conversation Skill V1)

Keterampilan Conversation V2 memanggil aplikasi fungsi Audiotointent menggunakan Misty's Misty.SendExternalRequest () panggilan API on-robot. Aplikasi fungsi membuat panggilan ke Luis NLU dan kemudian mengembalikan niat sebagai string.

Kemudian Conversation Skill V2 memanggil aplikasi fungsi TextTospeech dan memainkan audio yang dikembalikan.

Keterampilan Conversation V2 menggunakan misty.startkeyphraserecognition () untuk mendengarkan frasa kunci "hey misty" (yaitu kata bangun)

contoh

Dengan percakapan v2 skill running:

Katakan "Hei, Misty"
Misty akan membuatnya dituntun ke biru untuk menunjukkan bahwa dia sedang mendengarkan
Katakan "Apakah Anda tahu lelucon?"
Misty akan berkata: "Di mana jenderal mempertahankan pasukannya? ,, di lengan bajunya."
Katakan "Hei, Misty"
Misty akan membuatnya dituntun ke biru untuk menunjukkan bahwa dia sedang mendengarkan
Katakan "Jam berapa sekarang?"
Misty akan mengatakan: "Waktu sudah saat ini ."

Azure Funciton Contoh: Audiotointent

Folder ini berisi kode untuk aplikasi Azure Fucnction yang memproses audio dari Misty dan mengembalikan niat. Fungsi mengelola:

pidato untuk teks
Teks ke Intent (NLU via Luis)

 try {
    const accessToken = await getAccessToken ( ) ;
    const utterance = await speechToText ( accessToken , audioBase64 , context ) ;
    await textToIntent ( accessToken , utterance , context ) ;
} catch ( err ) {
    context . log ( `Something went wrong: ${ err } ` ) ;
}

Catatan: Setiap fungsi memerlukan data dari config.json :

 {
    "Microsoft": {
        "AzureSpeechSubscriptionKey": "<YOUR-BING-SUBSCRIPTION-KEY>",
        "nluLUIS_endpoint": "https://westus.api.cognitive.microsoft.com/luis/v2.0/apps/",
        "nluLUIS_appId": "<YOUR-LUIS-APP-ID>",
        "nluLUIS_subscriptionKey": "<YOUR-LUIS-SUBSCRIPTION-KEY>"
    }
}

peralatan

Alat lipatan berisi alat simpul/javascript untuk menguji panggilan ke Azure:

Post-to-Azure-Audio-to-Intent.js
Post-to-Azure-Audio-to-Tts-response.js
Post-to-azure-text-to-tts.js
test-azure-speech-bae64.js
test-azure-speech-wav.js
test-azure-tts.js
test-luis-nlu.js

Catatan: Setiap alat ini memerlukan data dari config.json :

 {
    "Microsoft": {
        "AudioToTTSFunctionURL": "",
        "AudioToIntentFunctionURL": "",
        "TextToTTSFunctionURL": ""
    }
}

referensi

Misc

https://docs.microsoft.com/en-us/azure/cognitive-services/speech-service/rest-fech-to-text
https://www.henkboelman.com/speech-to-text-in-an-azure-function-using-the-bing-feech-api/
https://docs.microsoft.com/en-us/azure/cognitive-services/speech-service/quickstart-js-node
https://docs.microsoft.com/en-us/azure/cognitive-services/speech-service/troubleshooting
https://www.twilio.com/docs/usage/tutorials/server-webhooks-azure-functions-and-node-js