microllama

MikroLlama

API LLM sekecil mungkin. Bangun antarmuka tanya jawab untuk konten Anda sendiri dalam beberapa menit. Menggunakan penyematan OpenAI, gpt-3.5 dan Faiss, melalui Langchain.

Penggunaan

1. Gabungkan dokumen sumber Anda ke dalam satu file JSON bernama source.json . Seharusnya terlihat seperti ini:

[
    {
        "source" : " Reference to the source of your content. Typically a title. " ,
        "url" : " URL for your source. This key is optional. " ,
        "content" : " Your content as a single string. If there's a title or summary, put these first, separated by new lines. "
    }, 
    ...
]

Lihat example.source.json sebagai contoh.

2. Instal MicroLlama ke dalam lingkungan virtual:

pip install microllama

3. Dapatkan kunci API OpenAI dan tambahkan ke lingkungan, misalnya export OPENAI_API_KEY=sk-etc . Perhatikan bahwa pengindeksan dan pembuatan kueri memerlukan kredit OpenAI, dan ini tidak gratis.

4. Jalankan server Anda dengan microllama . Jika indeks pencarian vektor tidak ada, indeks tersebut akan dibuat dari source.json Anda, dan disimpan.

5. Tanyakan dokumen Anda di /api/ask?pertanyaan Anda.

6. Microllama menyertakan web front-end opsional, yang dihasilkan dengan microllama make-front-end . Perintah ini membuat satu file index.html yang dapat Anda edit. Disajikan di /.

Konfigurasi

Microllama dikonfigurasi melalui variabel lingkungan, dengan default berikut:

• OPENAI_API_KEY : diperlukan
• FAISS_INDEX_PATH : "faiss_index"
• SOURCE_JSON : "sumber.json"
• MAX_RELATED_DOCUMENTS : "5"
• EXTRA_CONTEXT : "Jawab tidak lebih dari tiga kalimat. Jika jawaban tidak sesuai konteks, ucapkan 'Maaf, tidak ada jawaban untuk ini di sumber saya.'."
• UVICORN_HOST : "0.0.0.0"
• UVICORN_PORT : "8080"

Menerapkan API Anda

Buat Dockerfile dengan microllama make-dockerfile . Kemudian:

Di Fly.io

Daftar akun Fly.io dan instal flyctl. Kemudian:

fly launch # answer no to Postgres, Redis and deploying now 
fly secrets set OPENAI_API_KEY=sk-etc 
fly deploy

Di Google Cloud Jalankan

gcloud run deploy --source . --set-env-vars= " OPENAI_API_KEY=sk-etc "

Untuk Cloud Run dan platform tanpa server lainnya, Anda harus membuat indeks FAISS pada waktu pembuatan container, untuk mengurangi waktu startup. Lihat dua baris komentar di Dockerfile .

Anda juga dapat membuat perintah ini dengan microllama deploy .

Berdasarkan

• rantai langka
• Entri blog Simon Willison, datasette-openai dan datasette-faiss.
• API Cepat
• Indeks GPT
• Entri blog belati

TODO

• Gunakan pemisahan yang menghasilkan fragmen yang lebih bermakna, misalnya text_splitter = SpacyTextSplitter(chunk_size=700, chunk_overlap=200, separator=" ")