Misty의 주요 문구 인식 (Wake Word), Azure Speech to Text (STT) 및 Azure Text to Speech (TTS)를 사용한 첫 번째 패스 대화 기술
https://github.com/wwlib/misty-azure
MISTY II- 대화 기술 (v2) https://youtu.be/-dte3khrmnq
Misty II- 대화 기술 (v2) w/console https://youtu.be/hjd_yyee2v8
luis nlu https://medium.com/@andrew.rapo/robokit-setting-uger-cognitive-services-bing-speech-nlu-fbb39f5dc957 사용에 대한 메모
Azure 서비스는 기능 앱으로 구현됩니다
대화 기술 v2는 Misty 's Misty.sendexternalRequest () On-Robot API Call을 사용하여 Audiotointent 기능 앱을 호출합니다. 기능 앱은 Luis NLU를 호출 한 다음 문자열로 의도를 반환합니다.
그런 다음 대화 기술 v2는 TextToSpeech 함수 앱을 호출하고 반환되는 오디오를 재생합니다.
대화 기술 v2는 misty.startkeyphraserecognition ()을 사용하여 "hey misty"핵심 문구 (즉, 깨우기 단어)를들을 수 있습니다.
대화 v2 기술 실행 :
"이봐, 미스티"라고 말해
Misty는 그녀가 듣고 있음을 나타 내기 위해 그녀를 파란색으로 설정했습니다.
"농담을 아십니까?"
미스티 (Misty)는 다음과 같이 말할 것입니다. "장군은 그의 군대를 어디에 두어야합니까?
"이봐, 미스티"라고 말해
Misty는 그녀가 듣고 있음을 나타 내기 위해 그녀를 파란색으로 설정했습니다.
"몇시입니까?"
Misty는 다음과 같이 말할 것입니다. "시간은 현재 시간 입니다."
이 폴더에는 Misty에서 오디오를 처리하고 의도를 반환하는 Azure Fucnction 앱의 코드가 포함되어 있습니다. 함수는 다음을 관리합니다.
try {
const accessToken = await getAccessToken ( ) ;
const utterance = await speechToText ( accessToken , audioBase64 , context ) ;
await textToIntent ( accessToken , utterance , context ) ;
} catch ( err ) {
context . log ( `Something went wrong: ${ err } ` ) ;
} 참고 : 각 기능에는 config.json 의 데이터가 필요합니다.
{
"Microsoft": {
"AzureSpeechSubscriptionKey": "<YOUR-BING-SUBSCRIPTION-KEY>",
"nluLUIS_endpoint": "https://westus.api.cognitive.microsoft.com/luis/v2.0/apps/",
"nluLUIS_appId": "<YOUR-LUIS-APP-ID>",
"nluLUIS_subscriptionKey": "<YOUR-LUIS-SUBSCRIPTION-KEY>"
}
}
Foldler에는 Azure에 대한 통화를 테스트하기위한 노드/JavaScript 도구가 포함되어 있습니다.
참고 : 이러한 각 도구에는 config.json 의 데이터가 필요합니다.
{
"Microsoft": {
"AudioToTTSFunctionURL": "",
"AudioToIntentFunctionURL": "",
"TextToTTSFunctionURL": ""
}
}
