ai chat protocol

Microsoft AI Chat-Protokoll

Das Microsoft AI Chat Protocol SDK ist eine Bibliothek zum einfachen Erstellen von AI Chat-Schnittstellen aus Diensten, die der AI Chat Protocol API-Spezifikation folgen. Beide befinden sich in diesem Repository.

Durch die Vereinbarung eines Standard-API-Vertrags können die KI-Backend-Nutzung und -Bewertung einfach und konsistent über verschiedene Dienste hinweg durchgeführt werden, unabhängig von den verwendeten Modellen, Orchestrierungstools oder Entwurfsmustern.

Hinweis: Wir befinden uns derzeit in der öffentlichen Vorschau. Wir freuen uns sehr über Ihr Feedback, da wir uns darauf vorbereiten, allgemein verfügbar zu sein!

Mit dem AI Chat Protocol können Sie:

• Entwickeln Sie KI-Chat-Schnittstellen, -Komponenten und -Anwendungen in JavaScript/TypeScript (weitere Sprachen folgen!)
• Nutzen und bewerten Sie KI-Inferenz-Backends und Middle Tiers konsistent und problemlos, entweder synchron oder per Streaming
• Integrieren Sie ganz einfach HTTP-Middleware für Protokollierung, Authentifizierung und mehr.

Bitte markieren Sie das Repo, um Ihre Unterstützung für dieses Projekt zu zeigen!

Erste Schritte

Unser umfassender Leitfaden für den Einstieg ist bald verfügbar! Weitere Informationen finden Sie in den Beispielen und der API-Spezifikation.

• Proben
• API-Spezifikation
• Beispiele auf Azure

Um lokal einen Blick darauf zu werfen, installieren Sie die Bibliothek über npm:

npm install @microsoft/ai-chat-protocol

Erstellen Sie das Client-Objekt:

 const client = new AIChatProtocolClient ( "/api/chat" ) ;

Streamen Sie Abschlüsse auf Ihre Benutzeroberfläche:

 let sessionState = undefined ;

// add any logic to handle state here
function setSessionState ( value ) {
    sessionState = value ;
}

const message : AIChatMessage = {
    role : "user" ,
    content : "Hello World!" ,
} ;

const result = await client . getStreamedCompletion ( [ message ] , {
    sessionState : sessionState ,
} ) ;

for await ( const response of result ) {
    if ( response . sessionState ) {
        //do something with the session state returned
    }
    if ( response . delta . role ) {
        // do something with the information about the role
    }
    if ( response . delta . content ) { 
        // do something with the content of the message
    }
} 

Beispiele auf Azure

Wenn Sie neugierig auf auf Azure gehostete Beispiele sind, nutzen die folgenden Beispiele das AI Chat Protocol SDK im Frontend:

• Serverloser KI-Chat mit RAG unter Verwendung von LangChain.js
• Chat-Anwendung mit Azure OpenAI (Python)
• OpenAI-Chat-Anwendung mit Microsoft Entra-Authentifizierung (Python) – Lokal
• OpenAI-Chat-Anwendung mit Microsoft Entra-Authentifizierung (Python) – integriert
• OpenAI-Chat-App-Frontend (Vanilla JS)
• Chat-Anwendung mit Azure OpenAI (Python)

Darüber hinaus nutzen viele Azure AI-Beispielprojekte die AI Chat Protocol-API-Spezifikation ohne das SDK, entweder weil sie kein Front-End haben oder weil sie vor der Veröffentlichung der Bibliothek erstellt wurden:

• ChatGPT + Unternehmensdaten mit Azure OpenAI und AI Search in Python
• ChatGPT + Unternehmensdaten mit Azure OpenAI und Azure AI Search in JavaScript
• Chat mit GPT-Modi – FastAPI-Backend
• Evaluierung einer RAG-Chat-App

Verhaltenskodex

Dieses Projekt hat den Microsoft Open Source Verhaltenskodex übernommen. Weitere Informationen finden Sie in den häufig gestellten Fragen zum Verhaltenskodex oder wenden Sie sich bei weiteren Fragen oder Kommentaren an [email protected].

Lizenz

Urheberrecht (c) Microsoft Corporation. Alle Rechte vorbehalten.

Lizenziert unter der MIT-Lizenz.