lm api

LM-API

用於查詢大語言模型的命令行實用程序

該倉庫旨在使通過大型語言模型（LM）的CLI輕鬆運行一組查詢，並恢復一組格式化的完整格式，並將其很好地放入一個文檔中。它還具有基本的Python API。

典型的工作流程：

1. 創建CSV / .xlsx /等。用模型查詢作為行的文件
2. 使用-i /path/to/my/queries.csv queries.csv運行lm-api -kc
3. 將彙編成單個Markdown文件的完成！

預計查詢將採用PANDAS兼容的格式，並將結果寫入帶有Markdown格式的文本文件，以方便查看/共享。

data/lm-api-output中提供了一個示例輸出文件。

---

安裝

直接通過pip + git安裝：

 # create a virtual environment (optional): pyenv virtualenv 3.8.5 lm-api
pip install git+https://github.com/pszemraj/lm-api.git

從源安裝

另外，克隆後， cd進入lm-api目錄並運行：

git clone https://github.com/pszemraj/lm-api.git
cd lm-api
# create a virtual environment (optional): pyenv virtualenv 3.8.5 lm-api
pip install -e .

可以使用src/lm_api/test_goose_api.py腳本進行快速測試。

在API鍵上

您將需要一個要查詢的每個提供商的API密鑰。目前，支持以下提供商：

• 鵝
• Openai

可以在環境變量GOOSE和OPENAI中設置API鍵：

 export OPENAI=api_key11111114234234etc
# or
export GOOSE=api_key11111114234234etc

或者，使用-k開關調用lm-api時，作為參數作為參數。

用法

命令行腳本位於src/lm_api/中，並以CLI命令安裝，可以從任何地方運行。目前，這些命令僅限於lm-api （更多將要）。

配x注意：您的API鍵必須在環境變量中設置或以-k標誌為lm-api以運行任何查詢配x

例子

lm-api -i data/test_queries.xlsx -o ./my-test-folder

這將在data/test_queries.xlsx中運行查詢，並將結果寫入當前工作目錄中的my-test-folder/中的.md文件。

細節

腳本有很多選項，可以使用-h標誌（例如， lm-api -h ）查看。

usage: lm-api [-h] [-i INPUT_FILE] [-o OUTPUT_DIR] [-provider PROVIDER_ID] [-k KEY] [-p PREFIX] [-s SUFFIX] [-simple]
              [-kc KEY_COLUMN] [-m MODEL_ID] [-n N_TOKENS] [-t TEMPERATURE] [-f2 FREQUENCY_PENALTY]
              [-p2 PRESENCE_PENALTY] [-v]

輸入文件格式

輸入文件應採用PANDAS兼容格式（例如， .csv ， .xlsx等）。查詢的默認列名是query ，可以使用-kc標誌更改。

data/test_queries.xlsx中提供了一個示例輸入文件。

---

托多 /路線圖

注意：這是一項正在進行的工作，以下是需要完成的事情的運行列表。這可能並且可能會更新。

• 將--prefix和--suffix標誌調整為“提示引擎”開關，該開關可以通過多種選項（例如--prompt-engine=prefix或--prompt-engine=prefix+suffix ）增強/更新提示
• 添加一個不需要查詢文件的簡單CLI命令
• 添加對其他提供商的支持（例如，TextSynth）
• 根據需要驗證性能作為包裝 /調整（即導入lm_api應該有效並具有完整功能WRT CLI）
• 設置測試

我們正在彙編/討論討論部分中的潛在功能列表，因此請隨時在此處添加您的想法！

---