ai companion

Pendamping AI v1

Sebuah biner kecil yang memiliki semua fitur yang Anda perlukan!

AI Companion adalah proyek yang bertujuan untuk menyediakan cara cepat, sederhana, ringan dan nyaman untuk membuat chatbot AI di komputer lokal Anda, tidak memerlukan API eksternal apa pun, instalasi perpustakaan apa pun, Anda cukup menginstal file biner yang sesuai dengan operasi Anda sistem dan perangkat, unduh model yang dipilih dan Anda dapat mulai menggunakan alat ini sebagai: WebUI untuk mengobrol dengan LLM, WebUI untuk bermain peran dengan karakter AI, atau digunakan sebagai API untuk proyek lain yang memerlukan chatbot AI.

Proyek ini mencakup banyak fitur unik, seperti memori jangka pendek, dukungan CUDA, OpenCL dan Metal, memori jangka panjang, penyetelan dialog, pengenalan waktu, belajar melalui obrolan, kemampuan untuk bekerja sebagai REST API, membaca kartu karakter, kemudahan- untuk menggunakan WebUI memungkinkan Anda mengedit data, mengedit konfigurasi, mengirim, mengedit, dan menghapus pesan.

Instalasi

Unduh biner yang sesuai untuk sistem operasi dan perangkat Anda dari sini (misalnya ai-companion-windows-cuda.exe ), lalu instal model llm dengan ekstensi .gguf (misalnya yang ini), selanjutnya luncurkan file biner ai-companion, buka browser web Anda di http://localhost:3000 dan Anda akan melihat AI Companion WebUI, selanjutnya klik ikon roda gigi di situs web, buka config , dan ganti Path to your Large Language Model (LLM) dengan path to model .gguf Anda di drive Anda, setelah melakukannya, Anda dapat mulai mengobrol dengan teman Anda!

Fitur

• berfungsi secara lokal - tidak memerlukan kunci API untuk layanan lain, sehingga sepenuhnya gratis untuk digunakan (selain biaya listrik - komputer Anda harus berfungsi), juga tidak memerlukan Internet untuk berfungsi
• privasi - semua percakapan disimpan secara lokal di database SQLite, yang berarti percakapan Anda atau karakteristik AI Anda hanya ada di komputer Anda
• API - Anda dapat menggunakannya sebagai backend untuk proyek Anda yang lain yang memerlukan LLM, chatbots ai khusus, atau karakter ai khusus
• kecepatan - tulis di Rust menunjukkan efisiensi yang baik dalam hal CPU, GPU (tidak ada yang memperlambat generasi Anda) dan RAM (Anda tidak perlu menggunakan model ai yang lebih lemah)
• kemudahan penggunaan - semuanya dapat diubah di antarmuka pengguna web, dan semuanya dikompilasi menjadi satu file biner yang dapat diluncurkan di mesin Anda (tidak perlu bermain-main dengan ratusan file yang membingungkan, dan tidak perlu berkelahi dengan perpustakaan/penerjemah yang salah /versi kerangka kerja)
• kustomisasi - Anda dapat mengubah nama AI, kepribadian, penampilan, dan pesan pertama yang dikirim. Memori ai jangka pendek dan jangka panjang juga dapat dimodifikasi
• memori jangka pendek - kecerdasan buatan mengingat pesan yang baru saja diterima/dikirim
• memori jangka panjang - AI dapat mengingat percakapan bahkan ribuan perintah kemudian menggunakan memori jangka panjang - mengaitkan berbagai hal dengan kata, frasa, kalimat, atau bahkan tanggal yang berbeda
• pembelajaran real-time - ketika mengobrol dengan AI, ia mampu menciptakan "kenangan" serta mempelajari tentang orang-orang yang diajak ngobrol (apa profesinya, apa yang mereka suka makan, minum, dan sebagainya)
• memberi makan ai dengan data khusus - dengan menggunakan API, dimungkinkan untuk menyimpan ke memori jangka panjang AI, misalnya fragmen dokumen, artikel, lirik lagu, puisi
• roleplay - ai chatbot dapat (jika diaktifkan) melakukan tindakan di antara tanda bintang (*) misalnya bergerak mendekat , melambai halo
• Anda dapat memuat file karakter dalam format .json atau .png (kartu karakter). Misalnya, Anda dapat membuatnya sendiri menggunakan alat ini
• kamu dapat menggunakan {{char}} dan {{user}} pada persona pengiring, contoh dialog, pesan pertama, dan persona pengguna (jika kamu mengubah nama pengguna atau nama pengiring, kamu tidak perlu mengubahnya, secara otomatis akan berubah)
• waktu - AI Chatbot dapat memperoleh informasi tentang waktu saat ini dari komputer, dan memori jangka panjangnya dapat mengingat hari apa percakapan tertentu terjadi

Model AI yang didukung

daftar kecil model AI yang teruji dan berfungsi:

• Mistral 7B
• Zephyr 7B Beta
• Llama 3 8B Instruksikan

Dan masih banyak lagi model LLM lainnya dalam format .gguf

dokumentasi API

Dokumentasi API dapat ditemukan di sini

Proyek berdasarkan Backend/API/Perpustakaan pendamping ai

• asisten lokal - asisten virtual AI bertenaga llm
• bot pendamping matriks - bot obrolan berbasis AI yang berjalan pada protokol Matrix

Gunakan sebagai perpustakaan python (Tidak digunakan lagi)

Jika Anda mencari perpustakaan Python yang memungkinkan Anda menggunakan backend ai-companion dalam proyek Anda, tersedia di sini ai-companion-py

Kompilasi dari kode sumber:

Untuk membuat file yang dapat dieksekusi, Anda memerlukan: Node.js dan npm, Rust dan kargo

Agar perangkat lunak berfungsi dengan CUDA, OpenCL, dan Metal Anda juga harus mengikuti langkah-langkah serupa dalam dokumentasi ini

buat git clone dari repositori:

 git clone https://github.com/Hukasx0/ai-companion

pergi ke foldernya

 cd ai-companion/

menginstal modul simpul

 npm i

kompilasi semuanya menjadi satu biner

 npm run build-full

atau

kompilasi semuanya menjadi satu biner dengan dukungan CUDA

 npm run build-full-cuda

atau

kompilasi semuanya menjadi satu biner dengan dukungan OpenCL

 npm run build-full-opencl

atau

kompilasi semuanya menjadi satu biner dengan dukungan Metal

 npm run build-full-metal

(setelah kompilasi biner harus berada di ai-companion/backend/target/release)

dan kemudian lanjutkan sama seperti untuk instalasi