ai companion

AI 동반자 v1

필요한 모든 기능을 갖춘 하나의 작은 바이너리입니다!

AI Companion은 로컬 컴퓨터에서 AI 챗봇을 생성하는 빠르고 간단하며 가볍고 편리한 방법을 제공하는 것을 목표로 하는 프로젝트입니다. 외부 API나 라이브러리 설치가 필요하지 않으며 운영 체제에 해당하는 바이너리 파일을 설치하기만 하면 됩니다. 선택한 모델을 다운로드하면 LLM 채팅용 WebUI, AI 캐릭터와 롤플레잉용 WebUI 또는 AI 챗봇이 필요한 다른 프로젝트용 API로 도구 사용을 시작할 수 있습니다.

이 프로젝트에는 단기 기억, CUDA, OpenCL 및 Metal 지원, 장기 기억, 대화 조정, 시간 인식, 채팅을 통한 학습, REST API로 작동하는 기능, 문자 카드 읽기, WebUI를 사용하면 데이터 편집, 구성 편집, 메시지 전송, 편집 및 삭제가 가능합니다.

설치

여기에서 운영 체제 및 장치에 적합한 바이너리(예: ai-companion-windows-cuda.exe )를 다운로드한 다음 .gguf 확장자를 가진 llm 모델(예: 이 모델)을 설치하고, 다음으로 ai-companion 바이너리 파일을 실행합니다. http://localhost:3000 에서 웹 브라우저를 열면 AI Companion WebUI가 표시됩니다. 다음으로 웹 사이트에서 기어 아이콘을 클릭하고 config 로 이동하여 Path to your Large Language Model(LLM)을 path로 바꾸세요. 드라이브에 있는 .gguf 모델에 추가한 후 동반자와 채팅을 시작할 수 있습니다!

특징

• 로컬로 작동 - 다른 서비스에 API 키가 필요하지 않으므로 완전히 무료로 사용할 수 있으며(전기 비용은 제외하고 컴퓨터는 어떻게든 작동해야 함) 작동하기 위해 인터넷이 필요하지 않습니다.
• 개인 정보 보호 - 모든 대화는 SQLite 데이터베이스에 로컬로 보관됩니다. 즉, 대화나 AI의 특성은 컴퓨터에만 유지됩니다.
• API - LLM, 맞춤형 AI 챗봇 또는 맞춤형 AI 캐릭터가 필요한 다른 프로젝트의 백엔드로 사용할 수 있습니다.
• 속도 - Rust로 작성된 내용은 CPU, GPU(세대 속도를 늦추는 것은 없음) 및 RAM(더 약한 AI 모델을 사용할 필요가 없음)과 관련하여 우수한 효율성을 보여줍니다.
• 사용 용이성 - 웹 사용자 인터페이스에서 모든 것을 변경할 수 있으며 모든 것이 컴퓨터에서 시작할 수 있는 단일 바이너리 파일로 컴파일됩니다. (수백 개의 혼란스러운 파일을 가지고 놀 필요가 없으며 잘못된 라이브러리/인터프리터와 싸울 필요가 없습니다.) /프레임워크 버전)
• 사용자 정의 - AI의 이름, 성격, 외모 및 첫 번째 전송 메시지를 변경할 수 있습니다. 또한 AI의 단기 및 장기 기억을 수정할 수 있습니다.
• 단기 기억 - 인공지능이 최근에 받거나 보낸 메시지를 기억합니다.
• 장기 기억 - AI는 나중에 장기 기억을 사용하여 대화를 수천 개의 프롬프트까지 기억할 수 있습니다. 즉, 사물을 다양한 단어, 구문, 문장 또는 날짜와 연관시킬 수 있습니다.
• 실시간 학습 - AI와 채팅할 때 "추억"을 만들 수 있을 뿐만 아니라 채팅하는 사람들에 대해 배울 수 있습니다(직업이 무엇인지, 먹고 마시는 것을 좋아하는지 등).
• AI에게 맞춤형 데이터 공급 - API를 사용하면 문서 조각, 기사, 노래 가사, 시 등의 조각을 AI의 장기 기억에 저장할 수 있습니다.
• 역할극 - AI 챗봇은 (활성화된 경우) 별표(*) 사이의 작업을 수행할 수 있습니다. 예: 가까이 이동 , 인사하기
• .json 또는 .png(문자 카드) 형식의 문자 파일을 로드할 수 있습니다. 예를 들어, 이 도구를 사용하여 자신만의 것을 만들 수 있습니다
• 동반자의 페르소나, 예제 대화, 첫 번째 메시지 및 사용자 페르소나에 {{char}} 및 {{user}}를 사용할 수 있습니다(사용자 이름이나 동반자 이름을 변경하는 경우 이를 변경할 필요가 없으며 자동으로 변경됩니다).
• 시간 - AI 챗봇은 컴퓨터로부터 현재 시간에 대한 정보를 얻을 수 있으며, 장기 기억은 특정 대화가 이루어진 날짜를 기억할 수 있습니다.

지원되는 AI 모델

테스트를 거쳐 작동하는 AI 모델의 작은 목록:

• 미스트랄 7B
• 제퍼 7B 베타
• 라마 3 8B 지시

그리고 .gguf 형식의 다른 많은 LLM 모델

API 문서

API 문서는 여기에서 찾을 수 있습니다.

ai-companion 백엔드/API/라이브러리 기반 프로젝트

• 로컬 어시스턴트 - LLM 기반 AI 가상 어시스턴트
• 매트릭스 컴패니언 봇 - 매트릭스 프로토콜에서 실행되는 AI 기반 채팅 봇

파이썬 라이브러리로 사용 (더 이상 사용되지 않음)

프로젝트에서 ai-companion 백엔드를 사용할 수 있는 Python 라이브러리를 찾고 있다면 여기에서 ai-companion-py를 찾을 수 있습니다.

소스 코드에서 컴파일:

실행 파일을 빌드하려면 Node.js 및 npm, Rust 및 화물이 필요합니다.

소프트웨어가 CUDA, OpenCL 및 Metal에서 작동하도록 하려면 이 문서의 단계와 유사한 단계도 따라야 합니다.

저장소의 git 복제본을 만듭니다.

 git clone https://github.com/Hukasx0/ai-companion

폴더로 이동

 cd ai-companion/

노드 모듈 설치

 npm i

모든 것을 하나의 바이너리로 컴파일

 npm run build-full

또는

CUDA 지원을 통해 모든 것을 하나의 바이너리로 컴파일

 npm run build-full-cuda

또는

OpenCL 지원을 통해 모든 것을 하나의 바이너리로 컴파일

 npm run build-full-opencl

또는

Metal 지원을 통해 모든 것을 하나의 바이너리로 컴파일

 npm run build-full-metal

(컴파일 후 바이너리는 ai-companion/backend/target/release에 있어야 합니다)

그런 다음 설치와 동일하게 진행하십시오.