chroma

ซอร์สโค้ดอื่น ๆ

0.5.20

ดาวน์โหลด

โลโก้โครมา

Chroma - ฐานข้อมูลการฝังโอเพ่นซอร์ส
วิธีที่เร็วที่สุดในการสร้างแอป Python หรือ JavaScript LLM พร้อมหน่วยความจำ!

- - เอกสาร | หน้าแรก

pip install chromadb # python client
# for javascript, npm install chromadb!
# for client-server mode, chroma run --path /chroma_db_path

API หลักมีเพียง 4 ฟังก์ชันเท่านั้น (เรียกใช้ Google Colab หรือเทมเพลต Replit ของเรา):

 import chromadb
# setup Chroma in-memory, for easy prototyping. Can add persistence easily!
client = chromadb . Client ()

# Create collection. get_collection, get_or_create_collection, delete_collection also available!
collection = client . create_collection ( "all-my-documents" )

# Add docs to the collection. Can also update and delete. Row-based API coming soon!
collection . add (
    documents = [ "This is document1" , "This is document2" ], # we handle tokenization, embedding, and indexing automatically. You can skip that and add your own embeddings as well
    metadatas = [{ "source" : "notion" }, { "source" : "google-docs" }], # filter on these!
    ids = [ "doc1" , "doc2" ], # unique for each doc
)

# Query/search 2 most similar results. You can also .get by id
results = collection . query (
    query_texts = [ "This is a query document" ],
    n_results = 2 ,
    # where={"metadata_field": "is_equal_to_this"}, # optional filter
    # where_document={"$contains":"search_string"}  # optional filter
)

คุณสมบัติ

เรียบง่าย : พิมพ์ครบ ทดสอบครบ เอกสารครบ == ความสุข
บูรณาการ : ?️? LangChain (หลามและ js) ? LlamaIndex และอื่นๆ เร็วๆ นี้
Dev, Test, Prod : API เดียวกันกับที่ทำงานในโน้ตบุ๊ก Python ของคุณ จะปรับขนาดตามคลัสเตอร์ของคุณ
เต็มไปด้วยคุณสมบัติ : การสืบค้น การกรอง การประมาณค่าความหนาแน่น และอื่นๆ
ฟรีและโอเพ่นซอร์ส : Apache 2.0 ได้รับใบอนุญาต

กรณีการใช้งาน: ChatGPT สำหรับ ______

ตัวอย่างเช่น กรณีการใช้งาน "Chat your data" :

เพิ่มเอกสารลงในฐานข้อมูลของคุณ คุณสามารถส่งต่อการฝังของคุณเอง ฟังก์ชันการฝัง หรือให้ Chroma ฝังมันให้คุณก็ได้
ค้นหาเอกสารที่เกี่ยวข้องด้วยภาษาที่เป็นธรรมชาติ
เขียนเอกสารลงในหน้าต่างบริบทของ LLM เช่น GPT3 เพื่อการสรุปหรือการวิเคราะห์เพิ่มเติม

การฝัง?

การฝังคืออะไร?

อ่านคำแนะนำจาก OpenAI
ตัวอักษร : การฝังบางสิ่งบางอย่างจะเปลี่ยนจากรูปภาพ/ข้อความ/เสียงเป็นรายการตัวเลข ️หรือ ? => [1.2, 2.1, ....] . กระบวนการนี้ทำให้เอกสาร "เข้าใจได้" สำหรับโมเดลการเรียนรู้ของเครื่อง
โดยการเปรียบเทียบ : การฝังแสดงถึงสาระสำคัญของเอกสาร ซึ่งช่วยให้เอกสารและการสืบค้นที่มีสาระสำคัญเดียวกัน "อยู่ใกล้กัน" และทำให้ค้นหาได้ง่าย
เทคนิค : การฝังคือตำแหน่งพื้นที่แฝงของเอกสารในชั้นของโครงข่ายประสาทเทียมระดับลึก สำหรับโมเดลที่ได้รับการฝึกเพื่อการฝังข้อมูลโดยเฉพาะ นี่คือเลเยอร์สุดท้าย
ตัวอย่างเล็กๆ น้อยๆ : หากคุณค้นหารูปภาพด้วยคำว่า "สะพานชื่อดังในซานฟรานซิสโก" ด้วยการฝังข้อความค้นหานี้และเปรียบเทียบกับการฝังรูปภาพของคุณและข้อมูลเมตาของข้อความดังกล่าว ระบบควรส่งคืนรูปภาพของสะพานโกลเดนเกต

ฐานข้อมูลการฝัง (หรือที่เรียกว่า ฐานข้อมูลเวกเตอร์ ) จัดเก็บการฝังและอนุญาตให้คุณค้นหาโดยเพื่อนบ้านที่ใกล้ที่สุด แทนที่จะใช้สตริงย่อยเหมือนฐานข้อมูลแบบดั้งเดิม ตามค่าเริ่มต้น Chroma จะใช้ Sentence Transformers เพื่อฝังให้คุณ แต่คุณยังสามารถใช้การฝัง OpenAI, การฝัง Cohere (หลายภาษา) หรือของคุณเองก็ได้