misty azure Download - Download misty azure Source Code Download

misty azure

شفرة المصدر الأخرى

تنزيل

مهارة المحادثة الضبابية

أول مهارة للمحادثة باستخدام التعرف على العبارة الرئيسية لـ Misty (Wake Word) ، و Azure Speech to Text (STT) ونص Azure إلى الكلام (TTS)

https://github.com/wwlib/misty-azure

Misty II - محادثة مهارة (V2) https://youtu.be/-dte3khrmnq

Misty II - مهارة المحادثة (V2) W/Console https://youtu.be/hjd_yyee2v8

ملاحظات حول استخدام luis nlu https://medium.com/@andrew.rapo/robokit-setting-up-azure-seritive-services-bing-pech-luis-nlu-fbb39f5dc957

تطبيقات وظيفة Azure

يتم تنفيذ خدمات Azure كتطبيقات وظائف

يأخذ Audiotointent مدخلات صوتية وقصد NLU (تستخدمه محادثة مهارة V2)
يأخذ TextToSpeech إدخال نص ويعيد استجابة TTS (المستخدمة بواسطة مهارة المحادثة V2)
يأخذ AudiottSresponse إدخال صوتي ويعيد استجابة TTS (المستخدمة من قبل مهارة المحادثة V1)

محادثة مهارة V2 تستدعي تطبيق وظيفة Audiotointent باستخدام Misty's Misty.SendExternalRequest () استدعاء واجهة برمجة تطبيقات على روبوت. يقوم تطبيق الوظيفة بإجراء مكالمة إلى Luis NLU ثم يعيد نية كسلسلة.

ثم يقوم محادثة مهارة V2 باستدعاء تطبيق وظيفة TextTospeech ويلعب الصوت الذي يتم إرجاعه.

تستخدم مهارة المحادثة V2 Misty.StartKeyPhraserCognition () للاستماع إلى العبارة الرئيسية "Hey Misty" (أي كلمة الاستيقاظ)

مثال

مع تشغيل مهارة المحادثة V2:

قل "مهلا ، ضبابي"
ستضعها Misty إلى Blue للإشارة إلى أنها تستمع
قل "هل تعرف أي نكات؟"
سيقول ضبابي: "أين يحتفظ الجنرال بجيوشه؟ ، ، في خبشاته".
قل "مهلا ، ضبابي"
ستضعها Misty إلى Blue للإشارة إلى أنها تستمع
قل "ما هو الوقت؟"
سيقول Misty: "الوقت هو الوقت الحالي ".

Azure Funciton مثال: نقطة الصوت

يحتوي هذا المجلد على رمز تطبيق Fucnction Azure الذي يعالج الصوت من Misty ويعيد نية. تدير الوظيفة:

خطاب النص
نص إلى القصد (NLU عبر لويس)

 try {
    const accessToken = await getAccessToken ( ) ;
    const utterance = await speechToText ( accessToken , audioBase64 , context ) ;
    await textToIntent ( accessToken , utterance , context ) ;
} catch ( err ) {
    context . log ( `Something went wrong: ${ err } ` ) ;
}

ملاحظة: تتطلب كل وظيفة بيانات من config.json :

 {
    "Microsoft": {
        "AzureSpeechSubscriptionKey": "<YOUR-BING-SUBSCRIPTION-KEY>",
        "nluLUIS_endpoint": "https://westus.api.cognitive.microsoft.com/luis/v2.0/apps/",
        "nluLUIS_appId": "<YOUR-LUIS-APP-ID>",
        "nluLUIS_subscriptionKey": "<YOUR-LUIS-SUBSCRIPTION-KEY>"
    }
}

أدوات

تحتوي Tools Foldler على أدوات Node/JavaScript لاختبار المكالمات إلى Azure:

ما بعد الأضلاع إلى udio-to-intent.js
ما بعد الأضلاع إلى udio-to-tts-response.js
ما بعد النصوص إلى tts.js
Test-Azure-Speech-Bae64.js
Test-Azure-Wav.js
Test-Azure-TTS.JS
اختبار luis-nlu.js

ملاحظة: تتطلب كل من هذه الأدوات بيانات من config.json :

 {
    "Microsoft": {
        "AudioToTTSFunctionURL": "",
        "AudioToIntentFunctionURL": "",
        "TextToTTSFunctionURL": ""
    }
}

مرجع

متفرقات

https://docs.microsoft.com/en-us/azure/cealitive-services/speech-service/rest-spheade-to-text
https://www.henkboelman.com/speech-to-text-
https://docs.microsoft.com/en-us/azure/cealitive-services/speech-service/quickstart-js-node
https://docs.microsoft.com/en-us/azure/cealitive-services/speech-service/troubleshooting
https://www.twilio.com/docs/usage/tutorials/serverless-webhooks-azure-functions-and-node-js