chroma

Chroma – die Open-Source-Einbettungsdatenbank .
Der schnellste Weg, Python- oder JavaScript-LLM-Apps mit Speicher zu erstellen!

| | Dokumente | Homepage

pip install chromadb # python client
# for javascript, npm install chromadb!
# for client-server mode, chroma run --path /chroma_db_path

Die Kern-API besteht nur aus 4 Funktionen (führen Sie unsere Google Colab- oder Replit-Vorlage aus):

 import chromadb
# setup Chroma in-memory, for easy prototyping. Can add persistence easily!
client = chromadb . Client ()

# Create collection. get_collection, get_or_create_collection, delete_collection also available!
collection = client . create_collection ( "all-my-documents" )

# Add docs to the collection. Can also update and delete. Row-based API coming soon!
collection . add (
    documents = [ "This is document1" , "This is document2" ], # we handle tokenization, embedding, and indexing automatically. You can skip that and add your own embeddings as well
    metadatas = [{ "source" : "notion" }, { "source" : "google-docs" }], # filter on these!
    ids = [ "doc1" , "doc2" ], # unique for each doc
)

# Query/search 2 most similar results. You can also .get by id
results = collection . query (
    query_texts = [ "This is a query document" ],
    n_results = 2 ,
    # where={"metadata_field": "is_equal_to_this"}, # optional filter
    # where_document={"$contains":"search_string"}  # optional filter
)

Merkmale

• Ganz einfach : Vollständig typisiert, vollständig getestet, vollständig dokumentiert == Glück
• Integrationen : ?️? LangChain (Python und js), ? LlamaIndex und mehr bald
• Dev, Test, Prod : Dieselbe API, die in Ihrem Python-Notebook ausgeführt wird, lässt sich auf Ihren Cluster skalieren
• Umfangreich : Abfragen, Filterung, Dichteschätzung und mehr
• Kostenlos und Open Source : Apache 2.0 lizenziert

Anwendungsfall: ChatGPT für ______

Zum Beispiel der Anwendungsfall "Chat your data" :

1. Fügen Sie Dokumente zu Ihrer Datenbank hinzu. Sie können Ihre eigenen Einbettungen oder Einbettungsfunktionen übergeben oder Chroma diese für Sie einbetten lassen.
2. Fragen Sie relevante Dokumente mit natürlicher Sprache ab.
3. Verfassen Sie Dokumente im Kontextfenster eines LLM wie GPT3 für eine zusätzliche Zusammenfassung oder Analyse.

Einbettungen?

Was sind Einbettungen?

• Lesen Sie den Leitfaden von OpenAI
• Wörtlich : Das Einbetten von etwas verwandelt es von Bild/Text/Audio in eine Liste von Zahlen. ?️ oder ? => [1.2, 2.1, ....] . Dieser Prozess macht Dokumente für ein maschinelles Lernmodell „verständlich“.
• Analog dazu : Eine Einbettung stellt die Essenz eines Dokuments dar. Dies ermöglicht, dass Dokumente und Abfragen mit demselben Inhalt „nahe“ beieinander liegen und somit leicht auffindbar sind.
• Technisch : Eine Einbettung ist die latente Raumposition eines Dokuments auf einer Ebene eines tiefen neuronalen Netzwerks. Bei Modellen, die speziell zum Einbetten von Daten trainiert wurden, ist dies die letzte Ebene.
• Ein kleines Beispiel : Wenn Sie Ihre Fotos nach „berühmte Brücke in San Francisco“ durchsuchen. Durch Einbetten dieser Abfrage und Vergleichen mit den Einbettungen Ihrer Fotos und deren Metadaten sollten Fotos der Golden Gate Bridge zurückgegeben werden.

Einbettungsdatenbanken (auch als Vektordatenbanken bekannt) speichern Einbettungen und ermöglichen Ihnen die Suche nach nächsten Nachbarn und nicht nach Teilzeichenfolgen wie bei herkömmlichen Datenbanken. Standardmäßig verwendet Chroma Satztransformatoren zum Einbetten für Sie, Sie können jedoch auch OpenAI-Einbettungen, Cohere-Einbettungen (mehrsprachig) oder Ihre eigenen verwenden.

Machen Sie mit

Chroma ist ein sich schnell entwickelndes Projekt. Wir freuen uns über PR-Mitwirkende und Ideen zur Verbesserung des Projekts.

• Beteiligen Sie sich an der Diskussion auf Discord – #contributing -Kanal
• Sehen Sie sich die ?️ Roadmap an und bringen Sie Ihre Ideen ein
• Schnappen Sie sich eine Ausgabe und öffnen Sie ein „PR – Good first issue tag
• Lesen Sie unseren Beitragsleitfaden

Veröffentlichungsrhythmus Wir veröffentlichen derzeit montags neue getaggte Versionen der Pakete pypi und npm . Hotfixes werden jederzeit während der Woche veröffentlicht.

Lizenz

Apache 2.0