llm

LLM

Utilitas CLI dan pustaka Python untuk berinteraksi dengan Model Bahasa Besar, baik melalui API jarak jauh maupun model yang dapat diinstal dan dijalankan di mesin Anda sendiri.

Jalankan perintah dari baris perintah, simpan hasilnya di SQLite, buat penyematan, dan banyak lagi.

Konsultasikan direktori plugin LLM untuk plugin yang menyediakan akses ke model jarak jauh dan lokal.

Dokumentasi lengkap: llm.datasette.io

Latar belakang proyek ini:

• llm, ttok dan strip-tags—Alat CLI untuk bekerja dengan ChatGPT dan LLM lainnya
• Alat LLM CLI sekarang mendukung model bahasa yang dihosting sendiri melalui plugin
• Mengakses Llama 2 dari baris perintah dengan plugin llm-replikasi
• Jalankan Llama 2 di Mac Anda sendiri menggunakan LLM dan Homebrew
• Mengejar dunia LLM yang aneh
• LLM sekarang menyediakan alat untuk bekerja dengan embeddings
• Bangun mesin pencari gambar dengan llm-clip, ngobrol dengan model dengan llm chat
• Banyak pilihan untuk menjalankan model Mistral di terminal Anda menggunakan LLM

Instalasi

Instal alat ini menggunakan pip :

pip install llm

Atau menggunakan Homebrew:

brew install llm

Petunjuk instalasi terperinci.

Memulai

Jika Anda memiliki kunci API OpenAI, Anda dapat langsung mulai menggunakan model OpenAI.

Sebagai alternatif OpenAI, Anda dapat menginstal plugin untuk mengakses model dari penyedia lain, termasuk model yang dapat diinstal dan dijalankan di perangkat Anda sendiri.

Simpan kunci API OpenAI Anda seperti ini:

llm keys set openai

Ini akan meminta Anda memasukkan kunci Anda seperti ini:

 Enter key: <paste here>

Sekarang setelah Anda menyimpan kunci, Anda dapat menjalankan perintah seperti ini:

llm " Five cute names for a pet penguin " 

 1. Waddles
2. Pebbles
3. Bubbles
4. Flappy
5. Chilly

Baca petunjuk penggunaan untuk lebih lanjut.

Menginstal model yang berjalan di mesin Anda sendiri

Plugin LLM dapat menambahkan dukungan untuk model alternatif, termasuk model yang berjalan di mesin Anda sendiri.

Untuk mengunduh dan menjalankan Mistral 7B Instruct secara lokal, Anda dapat menginstal plugin llm-gpt4all:

llm install llm-gpt4all

Kemudian jalankan perintah ini untuk melihat model mana yang tersedia:

llm models

 gpt4all: all-MiniLM-L6-v2-f16 - SBert, 43.76MB download, needs 1GB RAM
gpt4all: orca-mini-3b-gguf2-q4_0 - Mini Orca (Small), 1.84GB download, needs 4GB RAM
gpt4all: mistral-7b-instruct-v0 - Mistral Instruct, 3.83GB download, needs 8GB RAM
...

Setiap file model akan diunduh satu kali saat pertama kali Anda menggunakannya. Coba Mistral seperti ini:

llm -m mistral-7b-instruct-v0 ' difference between a pelican and a walrus '

Anda juga dapat memulai sesi obrolan dengan model menggunakan perintah llm chat :

llm chat -m mistral-7b-instruct-v0

 Chatting with mistral-7b-instruct-v0
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
> 

Menggunakan perintah sistem

Anda dapat menggunakan opsi -s/--system untuk mengatur prompt sistem, memberikan instruksi untuk memproses input lain ke alat tersebut.

Untuk menjelaskan cara kerja kode dalam file, coba ini:

cat mycode.py | llm -s " Explain this code " 

Membantu

Untuk bantuan, jalankan:

 llm --help

Anda juga dapat menggunakan:

 python -m llm --help