llm
0.18
リモート API と自分のマシンにインストールして実行できるモデルの両方を介して、大規模言語モデルと対話するための CLI ユーティリティと Python ライブラリ。
コマンドラインからプロンプトを実行し、結果を SQLite に保存し、埋め込みを生成します。
リモートおよびローカル モデルへのアクセスを提供するプラグインについては、 LLM プラグイン ディレクトリを参照してください。
完全なドキュメント: llm.datasette.io
このプロジェクトの背景:
pipを使用してこのツールをインストールします。
pip install llmまたは Homebrew を使用して:
brew install llm詳細なインストール手順。
OpenAI API キーをお持ちの場合は、すぐに OpenAI モデルの使用を開始できます。
OpenAI の代わりに、プラグインをインストールして、自分のデバイスにインストールして実行できるモデルなど、他のプロバイダーのモデルにアクセスできます。
次のように OpenAI API キーを保存します。
llm keys set openaiこれにより、次のようにキーの入力を求められます。
Enter key: <paste here>
キーを保存したので、次のようなプロンプトを実行できます。
llm " Five cute names for a pet penguin " 1. Waddles
2. Pebbles
3. Bubbles
4. Flappy
5. Chilly
詳細については使用説明をお読みください。
LLM プラグインは、独自のマシンで実行されるモデルを含む、代替モデルのサポートを追加できます。
Mistral 7B Instruct をローカルにダウンロードして実行するには、llm-gpt4all プラグインをインストールします。
llm install llm-gpt4all次に、次のコマンドを実行して、どのモデルが使用可能になるかを確認します。
llm models gpt4all: all-MiniLM-L6-v2-f16 - SBert, 43.76MB download, needs 1GB RAM
gpt4all: orca-mini-3b-gguf2-q4_0 - Mini Orca (Small), 1.84GB download, needs 4GB RAM
gpt4all: mistral-7b-instruct-v0 - Mistral Instruct, 3.83GB download, needs 8GB RAM
...
初めて使用するときに、各モデル ファイルが 1 回ダウンロードされます。ミストラルを次のように試してください。
llm -m mistral-7b-instruct-v0 ' difference between a pelican and a walrus ' llm chatコマンドを使用して、モデルとのチャット セッションを開始することもできます。
llm chat -m mistral-7b-instruct-v0 Chatting with mistral-7b-instruct-v0
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
>
-s/--systemオプションを使用すると、システム プロンプトを設定し、ツールへの他の入力を処理するための指示を提供できます。
ファイル内のコードがどのように機能するかを説明するには、次のことを試してください。
cat mycode.py | llm -s " Explain this code " ヘルプが必要な場合は、次を実行してください。
llm --help
次のものも使用できます。
python -m llm --help
