instinct.cpp 다운로드 - instinct.cpp 소스 코드 다운로드

다운로드

본능.cpp

instinct.cpp 는 LLM 기반 애플리케이션을 개발하기 위한 툴킷입니다.

이 프로젝트는 활발하게 개발 중이며 첫 번째 주요 릴리스의 GA 단계에 도달하지 않았습니다. 로드맵 섹션에서 자세한 내용을 확인하세요.

본능.cpp의 구성 요소

instinct.cpp 제공하는 것:

기본적으로 작동하는 애플리케이션.
- Assistant API 서버: OpenAI의 Assistant API와 완벽하게 호환되는 에이전트 서비스입니다.
  - mini-assistant-api: 벡터 데이터베이스 및 기타 종속성이 번들로 포함된 단일 노드 배포를 위한 단일 바이너리입니다.
  - mighty-assistant-api : ( WIP ) 분산 구성 요소 및 다중 테넌트 지원을 통해 확장성이 뛰어난 클라우드 네이티브 구현입니다.
- chat-agent: 문서(PDF,TXT,MD,...)로 지식 색인을 생성하고 OpenAI ChatCompletion 과 완벽하게 호환되는 HTTP 서버를 시작하는 CLI 애플리케이션입니다.
LLM 기반 애플리케이션을 구축하기 위한 프레임워크입니다. langchain.cpp 라고 말해보세요.
- 개인 정보 보호를 최우선으로 하는 LLM 공급자를 위한 통합: Ollama 및 vllm, llama.cpp 서버, nitro 등과 같은 기타 OpenAI 호환 API 서비스에 대한 기본 지원이 제공됩니다.
- Chatbot, RAG, LLM Agent와 같은 일반적인 애플리케이션 패턴을 위한 빌딩 블록입니다.
- 구성 가능한 LLM 파이프라인을 위한 기능 체인 구성 요소입니다.
- 에이전트 패턴: ReACT, OpenAI 기반 도구 에이전트, LLMCompiler, ...

내장 애플리케이션의 경우:

라이브러리 자체의 경우:

전체 프로젝트 계획은 프로젝트 칸반에서 추적됩니다.

중요한 단계	특징	DDL
v0.1.0	장단기 메모리, PDF/TXT/DOCX 인제스터, `Chain` 프로그래밍 패러다임, RAG 참조 앱 `doc-agent`	3.29
v0.1.1	성능 튜닝, RAG 평가, 함수 호출 에이전트	4.16
v0.1.2	OpenAI Assistant API 초기 구현, 단일 바이너리 참조 앱 `mini-assistant`	4.30
v0.1.3	* `mini-assistant` : 오픈 소스 LLM을 사용한 도구 호출	5.17
v0.1.4	* `doc-agent` : 모델 재지정 * `mini-assistant` : `file-search` 도구 지원.	~~6.18~~ 6.14
v0.1.5	전반적인 최적화	6.30
v0.1.6	`mini-assistant` 의 `code-interpreter`	7.15