大規模な言語モデルを照会するためのコマンドラインユーティリティ
このレポは、大規模な言語モデル(LM)でCLIを介してクエリのセットを簡単に実行し、フォーマットフォーマットの完了セットを1つのドキュメントに簡単に実行できるようにすることを中心に構築されています。また、基本的なPython APIもあります。
典型的なワークフロー:
CSV
/ .xlsx
/ etcを作成します。行としてモデルクエリを備えたファイル-i /path/to/my/queries.csv
を使用してlm-api
実行し、 -kc
使用してクエリで列名を指定しますクエリはパンダ互換形式であると予想され、結果は、簡単に表示/共有できるようにマークダウンフォーマットを備えたテキストファイルに書き込まれます。
出力ファイルの例はdata/lm-api-output
で提供されています。
pip
+ git
経由で直接インストールしてください:
# create a virtual environment (optional): pyenv virtualenv 3.8.5 lm-api
pip install git+https://github.com/pszemraj/lm-api.git
または、クローニングした後、 lm-api
ディレクトリにcd
実行して実行します。
git clone https://github.com/pszemraj/lm-api.git
cd lm-api
# create a virtual environment (optional): pyenv virtualenv 3.8.5 lm-api
pip install -e .
src/lm_api/test_goose_api.py
スクリプトで簡単なテストを実行できます。
クエリするプロバイダーごとにAPIキーが必要です。現在、次のプロバイダーがサポートされています。
APIキーは、環境変数GOOSE
とOPENAI
に設定できます。
export OPENAI=api_key11111114234234etc
# or
export GOOSE=api_key11111114234234etc
または、 -k
スイッチでlm-api
呼び出すときに引数として渡されます。
コマンドラインスクリプトはsrc/lm_api/
にあり、どこからでも実行できるCLIコマンドとしてインストールされます。現在、コマンドはlm-api
に限定されています(詳細が来ます)。
-k
フラグを使用してlm-api
への引数として渡され、クエリを実行する必要があります
lm-api -i data/test_queries.xlsx -o ./my-test-folder
これにより、 data/test_queries.xlsx
でクエリを実行し、現在のワーキングディレクトリのmy-test-folder/
の.md
ファイルに結果を書き込みます。
スクリプトには多くのオプションがあり、 -h
フラグ(例: lm-api -h
)で表示できます。
usage: lm-api [-h] [-i INPUT_FILE] [-o OUTPUT_DIR] [-provider PROVIDER_ID] [-k KEY] [-p PREFIX] [-s SUFFIX] [-simple]
[-kc KEY_COLUMN] [-m MODEL_ID] [-n N_TOKENS] [-t TEMPERATURE] [-f2 FREQUENCY_PENALTY]
[-p2 PRESENCE_PENALTY] [-v]
入力ファイルは、パンダ互換形式( .csv
、 .xlsx
など)である必要があります。クエリのデフォルトの列名はquery
です。これは-kc
フラグで変更できます。
data/test_queries.xlsx
で入力ファイルの例が提供されています。
注:これは進行中の作業であり、以下は実行する必要があることの実行リストです。これは、おそらく更新される可能性があります。
--prefix
と--suffix
フラグを「プロンプトエンジン」スイッチに調整します。これにより、さまざまなオプションでプロンプトを拡張/更新できます(例: --prompt-engine=prefix
または--prompt-engine=prefix+suffix
) lm_api
のインポートは機能し、完全な機能を持っている必要がありますWRT CLI) ディスカッションセクションで潜在的な機能のリストを編集/議論しているので、そこにあなたの考えを追加してください!