openai realtime api

Openai-realtime-API

Klien TypeScript untuk API Voice Realtime OpenAI.

• Fitur
• Memasang
• Penggunaan
  • Penggunaan server
  • Penggunaan browser
  • Server relay
• Contoh
  • Node.js BASIC
  • Audio Node.js
  • Percakapan node.js
  • Openai Realtime Console
• Todo
• Lisensi

Fitur

• Garpu TS yang sangat diketik dari openai/openai-realtime-api-beta
• Semua acara dan penangan diketik 100%
• Penggantian drop-in untuk versi JS Openai
• Memperbaiki banyak bug kecil dan ketidakkonsistenan
  • ( #3, #11, #12, #14, #17, #29, #34, #35, #37, #43, #44, dan kemungkinan lainnya)
• Diterbitkan ke NPM
• Mendukung Node.js, Browser, Deno, Bun, Pekerja CF, dll
• Termasuk contoh CLI node.js untuk pengujian lokal yang mudah
• Termasuk server relai sederhana
• Termasuk demo konsol realtime openai menggunakan paket ini

Memasang

npm install openai-realtime-api

Paket ini hanya ESM. Dibutuhkan Node.js >= 18 , lingkungan browser, atau runtime JS yang setara (Deno, Bun, CF pekerja, dll).

Penggunaan

Penting

Semua penggunaan dan acara kompatibel 100% dengan versi OpenAI JS. Perbedaan utama selain dari perbaikan bug adalah bahwa semua acara diketik sepenuhnya .

 import { RealtimeClient } from 'openai-realtime-api'

// Create a new client; all params are optional; apiKey defaults to the
// `OPENAI_API_KEY` environment variable (when using Node.js).
const client = new RealtimeClient ( {
  sessionConfig : {
    instructions : 'You are a great, upbeat friend.' ,
    voice : 'alloy'
  }
} )

// Can change session config ahead of connecting.
client . updateSession ( {
  turn_detection : null ,
  input_audio_transcription : { model : 'whisper-1' }
} )

// Example of custom event handling
client . on ( 'conversation.updated' , ( event ) => {
  // All events are fully-typed based on the event name.
  // In this case, `event` will have the type `RealtimeCustomEvents.ConversationUpdatedEvent`
  const { item , delta } = event

  // Access the full list of conversation items.
  const items = client . conversation . getItems ( )
} )

// Connect to the Realtime API.
await client . connect ( )

// Send a text message and trigger a response generation.
client . sendUserMessageContent ( [ { type : 'input_text' , text : 'How are you?' } ] )

// Wait for a completed response from the model.
// (`event` will be of type `RealtimeServerEvents.ResponseDoneEvent`)
const event = await client . realtime . waitForNext ( 'response.done' )

Lihat contoh untuk demo yang lebih lengkap.

Lihat juga Panduan API Realtime Openai Resmi dan Referensi API.

Untuk info lebih lanjut tentang penggunaan, alat, dan acara khusus, lihat ReadMe Openai. Perhatikan bahwa paket ini kompatibel 100% dengan paket beta OpenAI dalam hal acara resmi dan tidak resmi. Satu -satunya perbedaan adalah bahwa semua acara diketik.

Penggunaan server

RealtimeClient mengambil apiKey opsional yang default untuk process.env.OPENAI_API_KEY .

Penggunaan browser

RealtimeClient mengambil url opsional yang dapat diarahkan pada server relay.

 import { RealtimeClient } from 'openai-realtime-api'

// Create a browser client which points to a relay server.
const client = new RealtimeClient ( { url : RELAY_SERVER_URL } )

Atau, Anda dapat menggunakan apiKey dengan RealtimeClient di browser, tetapi Anda juga harus lulus dangerouslyAllowAPIKeyInBrowser: true .

 import { RealtimeClient } from 'openai-realtime-api'

// Create a browser client which connects directly to the OpenAI realtime API
// with an unsafe, client-side API key.
const client = new RealtimeClient ( {
  apiKey : process . env . OPENAI_API_KEY ,
  dangerouslyAllowAPIKeyInBrowser : true
} ) 

Peringatan

Kami sangat merekomendasikan agar tidak memasukkan kunci API Anda di klien mana pun (seluler atau browser). Ini dapat berguna untuk pengujian lokal, tetapi untuk produksi, Anda harus menggunakan server relay.

Server relay

 import { RealtimeClient } from 'openai-realtime-api'
import { RealtimeRelay } from 'openai-realtime-api/node'

// Setting `relay: true` disables tool calls and directly modifying the session,
// since that will be the responsibility of the upstream client.
const client = new RealtimeClient ( { relay : true } )
const relay = new RealtimeRelay ( { client } )

relay . listen ( 8081 )

Perhatikan bahwa RealtimeRelay menggunakan jalur impor yang berbeda karena berisi kode khusus node.js.

Contoh lengkap termasuk dalam contoh/simpul/relay-server.ts.

Contoh

Untuk menjalankan contoh yang disertakan (membutuhkan Node.js >= 18 ):

1. Klone repo ini
2. Jalankan pnpm install
3. Pengaturan .env dengan OPENAI_API_KEY Anda

Anda dapat mengatur debug: true di konstruktor RealtimeClient dari contoh -contoh ini untuk mencetak log acara lengkap.

Node.js BASIC

Demo Simple Node.js Menggunakan RealtimeClient yang mengirim pesan teks dan menunggu respons lengkap.

• Contoh/Node/BASIC.TS
• Jalankan npx tsx examples/node/basic.ts

Audio Node.js

Demo Simple Node.js Menggunakan RealtimeClient yang mengirimkan pesan audio pendek dan menunggu respons lengkap.

• Contoh/Node/Audio.ts
• Jalankan npx tsx examples/node/audio.ts

Percakapan node.js

Demo Simple Node.js Menggunakan RealtimeClient dengan mikrofon dan pembicara untuk mensimulasikan percakapan penuh, bolak -balik dari terminal.

• Contoh/Node/Convo.ts
• Demo ini menggunakan paket mikrofon dan speaker NPM
• mic membutuhkan Sox; Di macOS, Anda dapat menjalankan brew install sox
• npx tsx examples/node/convo.ts

Openai Realtime Console

Contoh ini telah diimpor dari https://github.com/openai/openai-realtime-console (di Commit 6EA4DBA). Satu-satunya perubahan adalah mengganti @openai/realtime-api-beta dengan openai-realtime-api dan untuk memperbaiki beberapa jenis.

Untuk menjalankan contoh konsol realtime:

pnpm install
cd examples/openai-realtime-console
pnpm start

Todo

• Tambahkan contoh menggunakan alat
• Tambahkan Contoh Aplikasi Next.js
• Tingkatkan Dokumen Readme

Lisensi

MIT © Travis Fischer

Jika Anda menemukan proyek ini menarik, pertimbangkan untuk mengikuti saya di Twitter.