txtai
v8.0.0
txtai adalah database penyematan lengkap untuk pencarian semantik, orkestrasi LLM, dan alur kerja model bahasa.
Basis data penyematan adalah gabungan indeks vektor (jarang dan padat), jaringan grafik, dan basis data relasional.
Landasan ini memungkinkan pencarian vektor dan/atau berfungsi sebagai sumber pengetahuan yang kuat untuk aplikasi model bahasa besar (LLM).
Bangun agen otonom, proses pengambilan augmented generasi (RAG), alur kerja multi-model, dan banyak lagi.
Ringkasan fitur txtai:
txtai dibuat dengan Python 3.9+, Hugging Face Transformers, Sentence Transformers, dan FastAPI. txtai adalah sumber terbuka di bawah lisensi Apache 2.0.
Tertarik dengan cara yang mudah dan aman untuk menjalankan aplikasi txtai yang dihosting? Kemudian bergabunglah dengan pratinjau txtai.cloud untuk mempelajari lebih lanjut.
Basis data vektor baru, kerangka kerja LLM, dan segala sesuatu di antaranya bermunculan setiap hari. Mengapa membangun dengan txtai?
# Get started in a couple lines
import txtai
embeddings = txtai . Embeddings ()
embeddings . index ([ "Correct" , "Not what we hoped" ])
embeddings . search ( "positive" , 1 )
#[(0, 0.29862046241760254)] # app.yml
embeddings :
path : sentence-transformers/all-MiniLM-L6-v2 CONFIG=app.yml uvicorn " txtai.api:app "
curl -X GET " http://localhost:8000/search?query=positive "Bagian berikut memperkenalkan kasus penggunaan txtai yang umum. Satu set lengkap lebih dari 60 contoh buku catatan dan aplikasi juga tersedia.
Membangun aplikasi pencarian semantik/kesamaan/vektor/neural.
Sistem pencarian tradisional menggunakan kata kunci untuk menemukan data. Pencarian semantik memiliki pemahaman bahasa alami dan mengidentifikasi hasil yang memiliki arti yang sama, belum tentu kata kuncinya sama.
Mulailah dengan contoh berikut.
| Buku catatan | Keterangan | |
|---|---|---|
| Memperkenalkan txtai | Ikhtisar fungsi yang disediakan oleh txtai | |
| Pencarian kesamaan dengan gambar | Sematkan gambar dan teks ke dalam ruang yang sama untuk pencarian | |
| Membangun basis data QA | Pencocokan pertanyaan dengan pencarian semantik | |
| Grafik Semantik | Jelajahi topik, konektivitas data, dan jalankan analisis jaringan |
Agen otonom, pengambilan augmented generasi (RAG), mengobrol dengan data Anda, saluran pipa dan alur kerja yang berinteraksi dengan model bahasa besar (LLM).
Lihat di bawah untuk mempelajari lebih lanjut.
| Buku catatan | Keterangan | |
|---|---|---|
| Templat cepat dan rantai tugas | Bangun perintah model dan hubungkan tugas dengan alur kerja | |
| Integrasikan kerangka kerja LLM | Integrasikan kerangka kerja llama.cpp, LiteLLM, dan pembuatan khusus | |
| Bangun grafik pengetahuan dengan LLM | Bangun grafik pengetahuan dengan ekstraksi entitas berbasis LLM |
Agen menghubungkan penyematan, saluran pipa, alur kerja, dan agen lainnya bersama-sama untuk memecahkan masalah kompleks secara mandiri.
agen txtai dibangun di atas kerangka Transformers Agent. Ini mendukung semua dukungan txtai LLM (Hugging Face, llama.cpp, OpenAI / Claude / AWS Bedrock via LiteLLM).
Lihat tautan di bawah untuk mempelajari lebih lanjut.
| Buku catatan | Keterangan | |
|---|---|---|
| Apa yang baru di txtai 8.0 | Agen dengan txtai | |
| Menganalisis Postingan Wajah Memeluk dengan Grafik dan Agen | Jelajahi kumpulan data yang kaya dengan Analisis Grafik dan Agen | |
| Memberikan otonomi kepada agen | Agen yang memecahkan masalah secara berulang-ulang sesuai keinginannya |
Retrieval augmented generation (RAG) mengurangi risiko halusinasi LLM dengan membatasi keluaran dengan basis pengetahuan sebagai konteks. RAG biasanya digunakan untuk "mengobrol dengan data Anda".
Fitur baru dari txtai adalah ia dapat memberikan jawaban dan kutipan sumber.
| Buku catatan | Keterangan | |
|---|---|---|
| Bangun saluran pipa RAG dengan txtai | Panduan pengambilan augmented generation termasuk cara membuat kutipan | |
| Cara kerja RAG dengan txtai | Buat proses RAG, layanan API, dan instans Docker | |
| RAG tingkat lanjut dengan traversal jalur grafik | Traversal jalur grafik untuk mengumpulkan kumpulan data kompleks untuk RAG tingkat lanjut | |
| Pidato ke Pidato RAG | Alur kerja ucapan ke ucapan siklus penuh dengan RAG |
Alur kerja model bahasa, juga dikenal sebagai alur kerja semantik, menghubungkan model bahasa untuk membangun aplikasi cerdas.
Meskipun LLM sangat kuat, ada banyak model yang lebih kecil dan lebih terspesialisasi yang bekerja lebih baik dan lebih cepat untuk tugas tertentu. Hal ini mencakup model untuk menjawab pertanyaan ekstraktif, peringkasan otomatis, text-to-speech, transkripsi dan terjemahan.
| Buku catatan | Keterangan | |
|---|---|---|
| Jalankan alur kerja alur | Konstruksi sederhana namun kuat untuk memproses data secara efisien | |
| Membangun ringkasan teks abstrak | Jalankan peringkasan teks abstrak | |
| Transkripsikan audio ke teks | Konversi file audio menjadi teks | |
| Terjemahkan teks antar bahasa | Menyederhanakan terjemahan mesin dan deteksi bahasa |
Cara termudah untuk menginstal adalah melalui pip dan PyPI
pip install txtai
Python 3.9+ didukung. Disarankan menggunakan lingkungan virtual Python.
Lihat petunjuk penginstalan terperinci untuk informasi lebih lanjut yang mencakup dependensi opsional, prasyarat spesifik lingkungan, penginstalan dari sumber, dukungan conda, dan cara menjalankan dengan container.
Lihat tabel di bawah untuk model yang direkomendasikan saat ini. Semua model ini memungkinkan penggunaan komersial dan menawarkan perpaduan kecepatan dan kinerja.
| Komponen | Model |
|---|---|
| Penyematan | semua-MiniLM-L6-v2 |
| Keterangan Gambar | BIP |
| Label - Tembakan Nol | BART-Besar-MNLI |
| Label - Diperbaiki | Menyempurnakan alur pelatihan |
| Model Bahasa Besar (LLM) | Llama 3.1 Instruksikan |
| Peringkasan | DistilBART |
| Teks-ke-Ucapan | ESPnet JET |
| Transkripsi | Berbisik |
| Terjemahan | Seri Model OPUS |
Model dapat dimuat sebagai jalur dari Hugging Face Hub atau direktori lokal. Jalur model bersifat opsional, default dimuat jika tidak ditentukan. Untuk tugas tanpa model yang direkomendasikan, txtai menggunakan model default seperti yang ditunjukkan dalam panduan Tugas Memeluk Wajah.
Lihat tautan berikut untuk mempelajari lebih lanjut.
Aplikasi berikut ini didukung oleh txtai.
| Aplikasi | Keterangan |
|---|---|
| obrolan txt | Pencarian bertenaga Retrieval Augmented Generation (RAG). |
| kertasai | Pencarian semantik dan alur kerja untuk makalah medis/ilmiah |
| pertanyaan kode | Pencarian semantik untuk pengembang |
| tldrsstory | Pencarian semantik untuk judul dan teks cerita |
Selain daftar ini, ada juga banyak proyek sumber terbuka lainnya, penelitian yang dipublikasikan, dan proyek kepemilikan/komersial tertutup yang dibangun di atas txtai dalam produksi.
Dokumentasi lengkap tentang txtai termasuk pengaturan konfigurasi untuk penyematan, saluran pipa, alur kerja, API, dan FAQ dengan pertanyaan/masalah umum tersedia.
Bagi yang ingin berkontribusi pada txtai, silakan lihat panduan ini.
