genai phone call

생성 AI 전화 통화

Generative AI는 우리 개발자들이 살펴볼 수 있는 재미있는 새 모델을 많이 생산하고 있습니다. 전화로 이러한 기능을 사용할 수 있다는 것을 알고 계셨나요?

Twilio는 전화 통화 양쪽에 Websocket 연결을 제공하는 Media Streams라는 강력한 기능을 제공합니다. 오디오를 스트리밍하여 처리하고 오디오를 다시 보낼 수 있습니다.

이 레포는 WIP 데모 역할을 하지만 Speech to Text용 Deepgram과 Text to Speech용 믿을 수 없을 정도로 재미있는 Elevenlabs를 사용하는 두 가지 모델을 탐색하고 있습니다.

설치

Deepgram 및 ElevenLabs에 가입하세요

ngrok과 같은 것을 사용하여 터널링한 다음 포트 3000 을 노출합니다.

ngrok http 3000

.env.example .env 로 복사하고 키를 업데이트하세요.

SERVER 터널링된 URL로 설정하세요.

필요한 패키지 설치

npm install

웹 서버 시작

node server.js

콘솔이나 CLI를 사용하여 Twilio 번호 연결

twilio phone-numbers:update [phone] --voice-url=https://your-server.ngrok.io/incoming

스트림을 웹소켓 서버에 연결하는 Stream TwiML 동사가 있습니다.