llm

法學碩士

一個 CLI 實用程式和 Python 程式庫，用於透過遠端 API 和可在您自己的電腦上安裝和運行的模型與大型語言模型進行互動。

從命令列執行提示，將結果儲存在 SQLite 中，產生嵌入等。

請查閱LLM 外掛程式目錄，以了解提供對遠端和本機模型的存取的插件。

完整文檔： llm.datasette.io

此計畫的背景：

• llm、ttok 和 strip-tags — 用於與 ChatGPT 和其他 LLM 配合使用的 CLI 工具
• LLM CLI 工具現在透過外掛程式支援自架語言模型
• 使用 llm-replicate 外掛程式從命令列存取 Llama 2
• 使用 LLM 和 Homebrew 在您自己的 Mac 上運行 Llama 2
• 趕上法學碩士的奇怪世界
• LLM 現在提供用於處理嵌入的工具
• 使用llm-clip建立影像搜尋引擎，使用llm chat與模特兒聊天
• 使用 LLM 在終端機中運行 Mistral 模型的多種選項

安裝

使用pip安裝此工具：

pip install llm

或使用自製程序：

brew install llm

詳細的安裝說明。

入門

如果您有 OpenAI API 金鑰，您可以立即開始使用 OpenAI 模型。

作為 OpenAI 的替代方案，您可以安裝插件來存取其他提供者的模型，包括可以在您自己的裝置上安裝和運行的模型。

像這樣保存您的 OpenAI API 金鑰：

llm keys set openai

這將提示您輸入密鑰，如下所示：

 Enter key: <paste here>

現在您已經儲存了金鑰，您可以執行以下提示：

llm " Five cute names for a pet penguin " 

 1. Waddles
2. Pebbles
3. Bubbles
4. Flappy
5. Chilly

閱讀使用說明以了解更多資訊。

安裝在您自己的電腦上運行的模型

LLM 插件可以添加對替代模型的支持，包括在您自己的電腦上運行的模型。

若要在本機下載並執行 Mistral 7B Instruct，您可以安裝 llm-gpt4all 外掛程式：

llm install llm-gpt4all

然後運行此命令以查看它提供了哪些模型：

llm models

 gpt4all: all-MiniLM-L6-v2-f16 - SBert, 43.76MB download, needs 1GB RAM
gpt4all: orca-mini-3b-gguf2-q4_0 - Mini Orca (Small), 1.84GB download, needs 4GB RAM
gpt4all: mistral-7b-instruct-v0 - Mistral Instruct, 3.83GB download, needs 8GB RAM
...

每個模型檔案將在您第一次使用時下載一次。像這樣嘗試米斯特拉爾：

llm -m mistral-7b-instruct-v0 ' difference between a pelican and a walrus '

您也可以使用llm chat指令啟動與模型的聊天會話：

llm chat -m mistral-7b-instruct-v0

 Chatting with mistral-7b-instruct-v0
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
> 

使用系統提示

您可以使用-s/--system選項設定係統提示符，提供處理該工具的其他輸入的說明。

要描述文件中的程式碼如何運作，請嘗試以下操作：

cat mycode.py | llm -s " Explain this code " 

幫助

如需協助，請運行：

 llm --help

您也可以使用：

 python -m llm --help