llm

法学硕士

一个 CLI 实用程序和 Python 库，用于通过远程 API 和可在您自己的计算机上安装和运行的模型与大型语言模型进行交互。

从命令行运行提示，将结果存储在 SQLite 中，生成嵌入等。

请查阅LLM 插件目录，了解提供对远程和本地模型的访问的插件。

完整文档： llm.datasette.io

该项目的背景：

• llm、ttok 和 strip-tags — 用于与 ChatGPT 和其他 LLM 配合使用的 CLI 工具
• LLM CLI 工具现在通过插件支持自托管语言模型
• 使用 llm-replicate 插件从命令行访问 Llama 2
• 使用 LLM 和 Homebrew 在您自己的 Mac 上运行 Llama 2
• 赶上法学硕士的奇怪世界
• LLM 现在提供用于处理嵌入的工具
• 使用llm-clip构建图像搜索引擎，使用llm chat与模特聊天
• 使用 LLM 在终端中运行 Mistral 模型的多种选项

安装

使用pip安装此工具：

pip install llm

或者使用自制程序：

brew install llm

详细的安装说明。

入门

如果您有 OpenAI API 密钥，您可以立即开始使用 OpenAI 模型。

作为 OpenAI 的替代方案，您可以安装插件来访问其他提供商的模型，包括可以在您自己的设备上安装和运行的模型。

像这样保存您的 OpenAI API 密钥：

llm keys set openai

这将提示您输入密钥，如下所示：

 Enter key: <paste here>

现在您已经保存了密钥，您可以运行如下提示：

llm " Five cute names for a pet penguin " 

 1. Waddles
2. Pebbles
3. Bubbles
4. Flappy
5. Chilly

阅读使用说明了解更多信息。

安装在您自己的计算机上运行的模型

LLM 插件可以添加对替代模型的支持，包括在您自己的计算机上运行的模型。

要在本地下载并运行 Mistral 7B Instruct，您可以安装 llm-gpt4all 插件：

llm install llm-gpt4all

然后运行此命令以查看它提供了哪些模型：

llm models

 gpt4all: all-MiniLM-L6-v2-f16 - SBert, 43.76MB download, needs 1GB RAM
gpt4all: orca-mini-3b-gguf2-q4_0 - Mini Orca (Small), 1.84GB download, needs 4GB RAM
gpt4all: mistral-7b-instruct-v0 - Mistral Instruct, 3.83GB download, needs 8GB RAM
...

每个模型文件将在您第一次使用时下载一次。像这样尝试米斯特拉尔：

llm -m mistral-7b-instruct-v0 ' difference between a pelican and a walrus '

您还可以使用llm chat命令启动与模型的聊天会话：

llm chat -m mistral-7b-instruct-v0

 Chatting with mistral-7b-instruct-v0
Type 'exit' or 'quit' to exit
Type '!multi' to enter multiple lines, then '!end' to finish
> 

使用系统提示

您可以使用-s/--system选项设置系统提示符，提供处理该工具的其他输入的说明。

要描述文件中的代码如何工作，请尝试以下操作：

cat mycode.py | llm -s " Explain this code " 

帮助

如需帮助，请运行：

 llm --help

您还可以使用：

 python -m llm --help