chroma

Chroma - database penyematan sumber terbuka .
Cara tercepat untuk membuat aplikasi LLM Python atau JavaScript dengan memori!

| | Dokumen | Beranda

pip install chromadb # python client
# for javascript, npm install chromadb!
# for client-server mode, chroma run --path /chroma_db_path

API inti hanya memiliki 4 fungsi (jalankan template Google Colab atau Replit kami):

 import chromadb
# setup Chroma in-memory, for easy prototyping. Can add persistence easily!
client = chromadb . Client ()

# Create collection. get_collection, get_or_create_collection, delete_collection also available!
collection = client . create_collection ( "all-my-documents" )

# Add docs to the collection. Can also update and delete. Row-based API coming soon!
collection . add (
    documents = [ "This is document1" , "This is document2" ], # we handle tokenization, embedding, and indexing automatically. You can skip that and add your own embeddings as well
    metadatas = [{ "source" : "notion" }, { "source" : "google-docs" }], # filter on these!
    ids = [ "doc1" , "doc2" ], # unique for each doc
)

# Query/search 2 most similar results. You can also .get by id
results = collection . query (
    query_texts = [ "This is a query document" ],
    n_results = 2 ,
    # where={"metadata_field": "is_equal_to_this"}, # optional filter
    # where_document={"$contains":"search_string"}  # optional filter
)

Fitur

• Sederhana : Diketik sepenuhnya, diuji sepenuhnya, didokumentasikan sepenuhnya == kebahagiaan
• Integrasi : ?️? LangChain (python dan js) ? LlamaIndex dan lainnya segera
• Dev, Test, Prod : API yang sama yang berjalan di notebook python Anda, disesuaikan dengan cluster Anda
• Kaya fitur : Kueri, pemfilteran, estimasi kepadatan, dan banyak lagi
• Gratis & Sumber Terbuka : Berlisensi Apache 2.0

Kasus penggunaan: ChatGPT untuk ______

Misalnya, kasus penggunaan "Chat your data" :

1. Tambahkan dokumen ke database Anda. Anda dapat meneruskan penyematan Anda sendiri, fungsi penyematan, atau membiarkan Chroma menyematkannya untuk Anda.
2. Kueri dokumen yang relevan dengan bahasa alami.
3. Tulis dokumen ke dalam jendela konteks LLM seperti GPT3 untuk ringkasan atau analisis tambahan.

Penyematan?

Apa itu embeddings?

• Baca panduan dari OpenAI
• Literal : Menyematkan sesuatu mengubahnya dari gambar/teks/audio menjadi daftar angka. ?️ atau ? => [1.2, 2.1, ....] . Proses ini membuat dokumen "dapat dipahami" oleh model pembelajaran mesin.
• Dengan analogi : Penyematan mewakili esensi dokumen. Hal ini memungkinkan dokumen dan kueri dengan esensi yang sama berada "berdekatan" satu sama lain sehingga mudah ditemukan.
• Teknis : Penyematan adalah posisi ruang laten suatu dokumen pada lapisan jaringan saraf dalam. Untuk model yang dilatih khusus untuk menyematkan data, ini adalah lapisan terakhir.
• Contoh kecil : Jika Anda mencari "jembatan terkenal di San Francisco" di foto Anda. Dengan menyematkan kueri ini dan membandingkannya dengan penyematan foto Anda dan metadatanya - ini akan mengembalikan foto Jembatan Golden Gate.

Basis data penyematan (juga dikenal sebagai basis data vektor ) menyimpan penyematan dan memungkinkan Anda mencari berdasarkan tetangga terdekat, bukan berdasarkan substring seperti basis data tradisional. Secara default, Chroma menggunakan Sentence Transformers untuk menyematkan untuk Anda, tetapi Anda juga dapat menggunakan penyematan OpenAI, penyematan Cohere (multibahasa), atau milik Anda sendiri.

Terlibat

Chroma adalah proyek yang berkembang pesat. Kami menyambut kontributor PR dan ide-ide tentang cara meningkatkan proyek ini.

• Bergabunglah dalam percakapan di Discord - saluran #contributing
• Tinjau ?️ Peta Jalan dan sumbangkan ide Anda
• Ambil terbitan dan buka PR - Good first issue tag
• Baca panduan kontribusi kami

Rilis Cadence Saat ini kami merilis versi baru paket pypi dan npm yang diberi tag pada hari Senin. Perbaikan terbaru keluar kapan saja selama seminggu.

Lisensi

Apache 2.0