Unduhan kollektiv - unduhan kode Sumber kollektiv

kollektiv

Kode Sumber AI

v0.1.6 - Web UI

Unduh

kollektiv - LLM + Pengetahuan terkini

? Ringkasan

kollektiv adalah sistem Retrieval-Augmented Generation (RAG) yang dirancang untuk satu tujuan - memungkinkan Anda mengobrol dengan dokumen favorit Anda (terutama perpustakaan, kerangka kerja, alat) dengan mudah.

Proyek ini bertujuan untuk memungkinkan LLM memanfaatkan pengetahuan terkini dalam 2 klik sehingga Anda tidak perlu khawatir tentang jawaban yang salah, halusinasi, atau ketidakakuratan saat bekerja dengan LLM terbaik.

❓Mengapa?

Proyek ini lahir dari rasa gatal pribadi - setiap kali fitur baru dari perpustakaan favorit saya muncul, saya tahu saya tidak dapat mengandalkan LLM untuk membantu saya membangunnya - karena LLM tidak mengetahuinya!

Akar penyebabnya - LLM tidak memiliki akses ke dokumentasi terbaru atau pengetahuan pribadi, karena mereka dilatih berdasarkan sekumpulan data yang terakumulasi sejak dulu (terkadang lebih dari setahun yang lalu).

Dampaknya - halusinasi jawaban, informasi yang tidak akurat, salah atau ketinggalan jaman, yang secara langsung menurunkan produktivitas dan kegunaan penggunaan LLM

Tapi ada cara yang lebih baik...

Bagaimana jika LLM dapat memanfaatkan sumber informasi terkini tentang perpustakaan, alat, kerangka kerja yang Anda gunakan untuk membangun?

Bayangkan LLM Anda dapat dengan cerdas memutuskan kapan perlu memeriksa sumber dokumentasi dan selalu memberikan balasan yang akurat?

Sasaran

Perkenalkan kollektiv -> aplikasi RAG sumber terbuka yang membantu Anda dengan mudah:

parsing dokumen perpustakaan favorit Anda
secara efisien menyimpan dan menyematkannya dalam penyimpanan vektor lokal
menyiapkan obrolan LLM yang dapat Anda andalkan

Perhatikan ini adalah v.0.1.6 dan keandalan sistem dapat dicirikan sebagai berikut:

dalam 50% kasus, ini berhasil setiap saat!

Jadi, beri tahu saya jika Anda mengalami masalah dan saya akan mencoba memperbaikinya.

Fitur Utama

?️ Perayapan Web Cerdas : Memanfaatkan API FireCrawl untuk merayapi dan mengekstrak konten secara efisien dari situs web dokumentasi tertentu.
? Pemrosesan Dokumen Tingkat Lanjut : Menerapkan strategi pemotongan khusus untuk mengoptimalkan penyimpanan dan pengambilan dokumen.
? Pencarian Vektor : Menggunakan Chroma DB untuk pencarian kesamaan kinerja tinggi pada potongan dokumen.
Ekspansi Multi-Kueri : Meningkatkan akurasi pencarian dengan menghasilkan beberapa kueri yang relevan untuk setiap masukan pengguna.
Pemeringkatan Ulang Cerdas : Memanfaatkan API pemeringkatan ulang Cohere untuk meningkatkan relevansi hasil pencarian
? Respons yang Didukung AI : Terintegrasi dengan Claude 3.5 Sonnet untuk menghasilkan respons yang mirip manusia dan sadar konteks.
? Perintah sistem dinamis : Secara otomatis merangkum dokumentasi yang tertanam untuk meningkatkan pengambilan keputusan RAG.

Tumpukan Teknis

Bagian Belakang : Python/FastAPI
Penyimpanan :
- Supabase (autentikasi/data)
- ChromaDB (vektor)
- Redis (antrian/waktu nyata)
AI/ML :
- Penyematan teks OpenAI-3-kecil (penyematan)
- Antropis Claude 3.5 Soneta (obrolan)
- Cohere (peringkat ulang)
UI : Cahaya rantai
Tambahan : tiktoken, pydantic, pytest, ruff

Mulai Cepat

Kloning repositori:

git clone https://github.com/alexander-zuev/kollektiv.git
cd kollektiv

Siapkan variabel lingkungan: Buat file .env di root proyek dengan yang berikut:

FIRECRAWL_API_KEY= " your_firecrawl_api_key "
OPENAI_API_KEY= " your_openai_api_key "
ANTHROPIC_API_KEY= " your_anthropic_api_key "
COHERE_API_KEY= " your_cohere_api_key "

Instal dependensi:
```
poetry install
```
Jalankan aplikasi:
```
poetry run kollektiv 
```

Penggunaan

Mulai Aplikasi:

 # Run both API and Chainlit UI
poetry run kollektiv

# Or run only Chainlit UI
chainlit run main.py

Tambahkan Dokumentasi:
```
@docs add https://your-docs-url.com
```
Sistem akan memandu Anda melalui:
- Mengatur kedalaman perayapan
- Menambahkan pola pengecualian (opsional)
- Memproses dan menyematkan konten

Kelola Dokumen:

@docs list                  # List all documents
@docs remove [ID]          # Remove a document
@help                      # Show all commands

Obrolan dengan Dokumentasi: Cukup ajukan pertanyaan dalam bahasa alami. Sistem akan:
- Cari dokumentasi yang relevan
- Urutkan ulang hasil untuk akurasi
- Hasilkan tanggapan kontekstual

❤️‍? Keterbatasan Saat Ini

Konten gambar tidak didukung (penyematan hanya teks)
Tidak ada pengindeksan ulang dokumentasi secara otomatis
Validasi URL terbatas pada format umum
Pola pengecualian harus diawali dengan /

?️ Peta Jalan

Untuk peta jalan singkat silakan periksa halaman wiki proyek.

? Metrik Kinerja

Evaluasi saat ini dilakukan menggunakan perpustakaan ragas . Ada 2 bagian penting yang dinilai:

Generasi ujung ke ujung
- Kesetiaan
- Relevansi jawaban
- Jawaban yang benar
Pengambil (TBD)
- Ingatan konteks
- Ketepatan konteks

Lisensi

kollektiv dilisensikan di bawah versi modifikasi dari Lisensi Apache 2.0. Meskipun memungkinkan penggunaan, modifikasi, dan distribusi gratis untuk tujuan non-komersial, penggunaan komersial apa pun memerlukan izin eksplisit dari pemilik hak cipta.

Untuk penggunaan non-komersial: Anda bebas menggunakan, memodifikasi, dan mendistribusikan perangkat lunak ini berdasarkan ketentuan Lisensi Apache 2.0.
Untuk penggunaan komersial: Silakan hubungi [email protected] untuk mendapatkan lisensi komersial.

Lihat file LISENSI untuk teks lisensi lengkap dan ketentuan tambahan.

Pemberitahuan Penggantian Nama Proyek

Proyek ini telah diubah namanya dari OmniClaude menjadi kollektiv menjadi:

menghindari kebingungan/pelanggaran hak cipta Anthropic yang tidak disengaja
menekankan tujuan untuk menjadi alat untuk meningkatkan kolaborasi melalui penyederhanaan akses terhadap pengetahuan
secara keseluruhan nama keren (bukan?)

Jika Anda memiliki pertanyaan mengenai penggantian nama, silakan menghubungi kami.