llm comparison tool

比较大型语言模型

该项目使我们能够针对多个大型语言模型进行测试提示，并比较结果。

1. 选择要比较的模型。
2. 输入问题或提示。
3. 比较结果。

它使用OpenRouter连接到不同的型号。有些型号是免费的，另一些则不是。如果您决定使用付费模型，则OpenRouter有一个信用额度，以避免出人意料的账单。

警告：请勿将此项目用于私人和机密信息。 OpenRouter连接到不同的提供商。我不能保证OpenRouter和提供商的隐私政策。假设您发送给OpenRouter的内容是公开的，并采取了相应的行动。

快速获得指南

首先，如果您还没有这样做，请准备环境。

运行以下命令以激活环境并在浏览器中启动应用程序。

 source venv/bin/activate
streamlit run app.py

打开浏览器中终端中显示的URL。

作为容器运行

1. 构建容器： docker build --progress=plain -t llm-comparison .
2. 启动容器： docker compose up -d
3. 打开浏览器窗口http：// machine_address：8501（如果本地运行：http：// localhost：8501）
4. 完成后停止容器： docker compose down

准备环境

这是一个一次性步骤。如果您已经这样做了，只需使用source venv/bin/activate激活虚拟环境。

准备环境有两个步骤。

1. Python环境
2. OpenRouter API键

Python环境

运行以下命令以创建虚拟环境并安装所需的软件包。

python3 -m venv venv
source venv/bin/activate
pip install --upgrade pip
pip install -r requirements.txt

OpenRouter API键

该代码使用OpenRouter访问多个模型。有关支持模型的列表，请参见此处。

如果您已经有一个OpenRouter帐户，请在此处创建一个API密钥。如果您没有帐户，请在此处创建一个帐户，然后创建API密钥。 （可选），如果您打算使用付费模型，请添加积分。

拥有API密钥后，在项目root目录中创建一个.env文件，其中包含以下内容。

OPENROUTER_API_KEY= < your key >

在这里添加密钥是安全的。它永远不会致力于存储库。