private benchmarking 下载 - private benchmarking 源代码下载

私人基准测试

其他源码

下载

机器学习模型的私人基准测试

项目状况

警告：这是一个学术概念验证原型，尚未经过仔细的代码审查。此实现尚未准备好用于生产使用。

点

网站的 ssl 证书安全性（文件：settings.py）（部署任务）
实施信任级别 1、2、3、4 和 5
测试
文档
github 操作的 CI/CD 工作流程

项目描述

该项目旨在创建一个平台，使用户能够对机器学习模型进行私人基准测试。该平台有助于根据模型所有者和数据集所有者之间的不同信任级别来评估模型。

该存储库提供了论文的随附代码 https://arxiv.org/abs/2403.00393

休战：私人基准测试以防止污染并改善法学硕士的比较评估

Tanmay Rajore、Nishanth Chandran、Sunayana Sitaram、Divya Gupta、Rahul Sharma、Kashish Mittal、Manohar Swaminathan

安装

完整的构建和 EzPC LLM 支持

根据您的系统配置修改 Nvidia 驱动程序和 CUDA 版本的 setup.sh 文件（默认为 11.8，GPU 架构为 90 Hopper ）
```
    (In setup.sh)
    line 42: export CUDA_VERSION=11.8
    line 43: export GPU_ARCH=90
```
运行setup.sh文件
```
 ./setup.sh
Enter the Server IP address: 
```
- setup.sh 文件将安装所需的依赖项并设置平台运行的环境。 .env 文件包含 django 密钥，可以根据用户的要求进行更改。对于任何与密钥相关的存储，用户应仅使用 .env 文件。

只有平台

注意：需要手动设置 TTP/TEE 服务器运行的环境变量 ENCRYPTION_KEY（32 字节/256 位）密钥和要运行的平台的 .env 文件以及要运行的平台的 IP 地址。

 pip install -r requirements.txt
cd eval_website/eval_website
python manage.py makemigrations
python manage.py migrate
python manage.py runserver 0.0.0.0:8000

用法

安装后要使用该项目，请访问。

http://127.0.0.1:8000（在本地主机上）或 http://:8000（在公共 IP 上）

用户凭证示例
- 模特拥有者
  - 用户名：模型所有者
  - 密码：你好朋友
- 数据集所有者
  - 用户名：数据集所有者
  - 密码：你好朋友
某些端口预先分配如下：
- 8000：用于主网站
- 8001：用于 EzPC LLM 与可信第三方服务器的安全通信
- 7000：用于可信执行环境与网站通信
- 7001：用于可信第三方服务器接收模型文件
- 7002：用于可信第三方服务器接收数据集文件
- 9000：用于数据集所有者与接收 EzPC 密钥文件的网站的通信
- 9001：用于模型所有者与接收 EzPC 密钥文件的网站的通信
可信第三方 (TTP) 服务器
- TTP服务器是一个单独的服务器，用于执行模型的安全计算。 TTP 服务器需要运行才能执行安全计算。可以通过运行以下命令来启动 TTP 服务器。
```
 cd utils/TTP_TEE_files
python ttp_server.py
```
- 假设：
  - TTP 服务器相关详细信息在平台后端数据库中设置。
  - TTP服务器需要分别在端口7001和7002上接收来自各方的模型和数据集文件以进行评估。
  - TTP服务器将执行安全计算并将结果返回给平台。
  - TTP 服务器还要求 server.crt 和 server.key 文件与 ttp_server.py 文件位于同一目录中。这些文件用于使用首次运行后平台生成的 CA 在 TTP 服务器和平台之间进行安全通信，需要使用以下命令生成。
```
openssl req -newkey rsa:2048 -nodes -keyout " ./server.key " -out server.csr -subj /CN=127.0.0.1

openssl x509 -req -in server.csr -CA path/ca.crt(generated by eval_website root) -CAkey /path/ca.key(generated by eval_website root) -CAcreateserial -out ./server.crt -days xxx
```
- TTP/TEE 服务器需要设置环境变量 ENCRYPTION_KEY 才能运行（32 字节/256 位）密钥。
```
 export ENCRYPTION_KEY="32 bytes key"
#generate a 32 bytes key using the following command
python -c 'import os, binascii; print(binascii.hexlify(os.urandom(32)).decode("utf-8"))'
```
可信执行环境（TEE）
- 可信执行环境是一个单独的服务器，用于执行模型的安全计算（基于 TTP 脚本）。需要运行可信执行环境才能执行安全计算。有关设置可信执行环境的详细说明，请参阅 TTP/TEE。
法学硕士
- 目前EzPC支持以下机型
  - 伯特蒂尼
  - 伯特基地
  - 伯特·拉格
  - 总蛋白2
  - GP-Neo
  - 美洲驼7b
  - 骆驼13b
- 有关如何使用 EzPC LLM 的更多信息，请参阅 EzPC LLM。