lm api

LM-API

Utilitas baris perintah untuk menanyakan model bahasa besar

Repo ini dibangun di sekitar membuatnya mudah untuk menjalankan satu set kueri melalui CLI pada model bahasa besar (LM) dan mendapatkan kembali serangkaian penyelesaian yang diformat dengan baik menjadi satu dokumen . Ini juga memiliki API Python dasar.

Alur kerja khas:

1. Buat CSV / .xlsx / dll. file dengan kueri model sebagai baris
2. Jalankan lm-api dengan -i /path/to/my/queries.csv , dan gunakan -kc untuk menentukan nama kolom dengan kueri
3. Dapatkan penyelesaian yang dikompilasi ke dalam satu file markdown!

Kueri diharapkan berada dalam format yang kompatibel dengan panda, dan hasilnya ditulis ke file teks dengan pemformatan penurunan harga agar mudah dilihat/berbagi.

Contoh file output disediakan dalam data/lm-api-output .

---

Instalasi

Instal langsung melalui pip + git :

 # create a virtual environment (optional): pyenv virtualenv 3.8.5 lm-api
pip install git+https://github.com/pszemraj/lm-api.git

Instal dari sumber

Atau, setelah kloning, cd ke direktori lm-api dan menjalankan:

git clone https://github.com/pszemraj/lm-api.git
cd lm-api
# create a virtual environment (optional): pyenv virtualenv 3.8.5 lm-api
pip install -e .

Tes cepat dapat dijalankan dengan skrip src/lm_api/test_goose_api.py .

Pada kunci API

Anda akan memerlukan kunci API untuk setiap penyedia yang ingin Anda minta. Saat ini, penyedia berikut didukung:

• Angsa
• Openai

Kunci API dapat diatur dalam GOOSE variabel lingkungan dan OPENAI :

 export OPENAI=api_key11111114234234etc
# or
export GOOSE=api_key11111114234234etc

Atau, lulus sebagai argumen saat memanggil lm-api dengan sakelar -k .

Penggunaan

Skrip baris perintah terletak di src/lm_api/ dan diinstal sebagai perintah CLI yang dapat dijalankan dari mana saja. Saat ini, perintah terbatas pada lm-api ( lebih banyak yang akan datang ).

️ Catatan: Kunci API Anda harus diatur dalam variabel lingkungan atau disahkan sebagai argumen untuk lm-api dengan bendera -k untuk menjalankan pertanyaan apa pun ️

Contoh

lm-api -i data/test_queries.xlsx -o ./my-test-folder

Ini akan menjalankan kueri dalam data/test_queries.xlsx dan menulis hasilnya ke file .md di my-test-folder/ di direktori kerja Anda saat ini.

Detail

Ada banyak opsi untuk skrip, yang dapat dilihat dengan bendera -h (misalnya, lm-api -h ).

usage: lm-api [-h] [-i INPUT_FILE] [-o OUTPUT_DIR] [-provider PROVIDER_ID] [-k KEY] [-p PREFIX] [-s SUFFIX] [-simple]
              [-kc KEY_COLUMN] [-m MODEL_ID] [-n N_TOKENS] [-t TEMPERATURE] [-f2 FREQUENCY_PENALTY]
              [-p2 PRESENCE_PENALTY] [-v]

Format File Input

File input harus dalam format yang kompatibel dengan panda (misalnya, .csv , .xlsx , dll.). Nama kolom default untuk kueri adalah query , yang dapat diubah dengan bendera -kc .

Contoh file input disediakan dalam data/test_queries.xlsx .

---

TODO / ROADMAP

Catatan: Ini adalah pekerjaan yang sedang berlangsung, dan berikut ini adalah daftar berjalan yang perlu dilakukan. Ini Mei dan kemungkinan akan diperbarui.

• Sesuaikan bendera --prefix dan --suffix --prompt-engine=prefix+suffix sakelar "mesin prompt" yang dapat menambah/memperbarui prompt dengan berbagai opsi (mis --prompt-engine=prefix
• Tambahkan perintah CLI sederhana yang tidak memerlukan file kueri
• Tambahkan dukungan untuk penyedia lain (misalnya, Textsynth)
• Validasi kinerja sebagai paket / sesuaikan sesuai kebutuhan (yaitu, impor lm_api harus bekerja dan memiliki fungsionalitas penuh WRT CLI)
• tes pengaturan

Kami sedang menyusun/mendiskusikan daftar fitur potensial di bagian diskusi, jadi jangan ragu untuk menambahkan pemikiran Anda di sana!

---