ai chat protocol 다운로드 - ai chat protocol 소스코드 다운로드

ai chat protocol

기타 소스코드

Typescript Release 1.0.0-beta.20240814.1

다운로드

Microsoft AI 채팅 프로토콜

Microsoft AI Chat Protocol SDK는 AI Chat 프로토콜 API 사양을 따르는 서비스에서 AI Chat 인터페이스를 쉽게 구축하기 위한 라이브러리입니다. 둘 다 이 리포지토리에 있습니다.

표준 API 계약에 동의하면 사용된 모델, 오케스트레이션 도구 또는 디자인 패턴에 관계없이 다양한 서비스에서 AI 백엔드 사용 및 평가를 쉽고 일관되게 수행할 수 있습니다.

참고: 현재 공개 미리 보기 상태입니다. 정식 출시 준비가 진행되는 동안 귀하의 피드백에 매우 감사드립니다!

AI 채팅 프로토콜을 사용하면 다음을 수행할 수 있습니다.

JavaScript/TypeScript로 AI 채팅 인터페이스, 구성 요소 및 애플리케이션을 개발하세요(추가 언어 추가 예정!)
동기식으로 또는 스트리밍을 통해 쉽게 AI 추론 백엔드와 중간 계층을 일관되게 사용하고 평가합니다.
로깅, 인증 등을 위해 HTTP 미들웨어를 쉽게 통합할 수 있습니다.

이 프로젝트에 대한 지지를 표시하려면 저장소에 별표를 표시해 주세요!

시작하기

포괄적인 시작 가이드가 곧 제공될 예정입니다! 자세한 내용은 샘플 및 API 사양을 확인하세요.

샘플
API 사양
Azure의 샘플

로컬에서 살펴보려면 npm을 통해 라이브러리를 설치하세요.

npm install @microsoft/ai-chat-protocol

클라이언트 개체를 만듭니다.

 const client = new AIChatProtocolClient ( "/api/chat" ) ;

완료 내용을 UI로 스트리밍합니다.

 let sessionState = undefined ;

// add any logic to handle state here
function setSessionState ( value ) {
    sessionState = value ;
}

const message : AIChatMessage = {
    role : "user" ,
    content : "Hello World!" ,
} ;

const result = await client . getStreamedCompletion ( [ message ] , {
    sessionState : sessionState ,
} ) ;

for await ( const response of result ) {
    if ( response . sessionState ) {
        //do something with the session state returned
    }
    if ( response . delta . role ) {
        // do something with the information about the role
    }
    if ( response . delta . content ) { 
        // do something with the content of the message
    }
}