private benchmarking 下載 - private benchmarking 原始碼下載

私人基準測試

其他源碼

下載

機器學習模型的私人基準測試

項目狀況

警告：這是一個學術概念驗證原型，尚未經過仔細的程式碼審查。此實作尚未準備好用於生產使用。

點

網站的 ssl 憑證安全性（檔案：settings.py）（部署任務）
實施信任等級 1、2、3、4 和 5
測試
文件
github 操作的 CI/CD 工作流程

項目描述

該專案旨在創建一個平台，使用戶能夠對機器學習模型進行私人基準測試。該平台有助於根據模型所有者和資料集所有者之間的不同信任等級來評估模型。

該儲存庫提供了論文的隨附程式碼 https://arxiv.org/abs/2403.00393

休戰：私人基準測試以防止污染並改善法學碩士的比較評估

Tanmay Rajore、Nishanth Chandran、Sunayana Sitaram、Divya Gupta、Rahul Sharma、Kashish Mittal、Manohar Swaminathan

安裝

完整的構建和 EzPC LLM 支持

根據您的系統配置修改 Nvidia 驅動程式和 CUDA 版本的 setup.sh 檔案（預設為 11.8，GPU 架構為 90 Hopper ）
```
    (In setup.sh)
    line 42: export CUDA_VERSION=11.8
    line 43: export GPU_ARCH=90
```
運行setup.sh文件
```
 ./setup.sh
Enter the Server IP address: 
```
- setup.sh 檔案將安裝所需的依賴項並設定平台運行的環境。 .env 檔案包含 django 密鑰，可以根據使用者的要求進行更改。

只有平台

注意：需要手動設定 TTP/TEE 伺服器執行的環境變數 ENCRYPTION_KEY（32 位元組/256 位元）金鑰和要執行的平台的 .env 檔案以及要執行的平台的 IP 位址。

 pip install -r requirements.txt
cd eval_website/eval_website
python manage.py makemigrations
python manage.py migrate
python manage.py runserver 0.0.0.0:8000

用法

安裝後要使用該項目，請訪問。

http://127.0.0.1:8000（在本機上）或 http://:8000（在公用 IP 上）

使用者憑證範例
- 模特兒擁有者
  - 使用者名稱：模型所有者
  - 密碼：你好朋友
- 資料集擁有者
  - 使用者名稱：資料集所有者
  - 密碼：你好朋友
某些連接埠預先分配如下：
- 8000：用於主網站
- 8001：用於 EzPC LLM 與可信任第三方伺服器的安全通信
- 7000：用於可信任執行環境與網站通信
- 7001：用於可信任第三方伺服器接收模型文件
- 7002：用於可信任第三方伺服器接收資料集文件
- 9000：用於資料集擁有者與接收 EzPC 金鑰檔案的網站的通信
- 9001：用於模型擁有者與接收 EzPC 金鑰檔案的網站的通信
可信任第三方 (TTP) 伺服器
- TTP伺服器是一個單獨的伺服器，用於執行模型的安全計算。 TTP 伺服器需要運行才能執行安全計算。可以透過執行以下命令來啟動 TTP 伺服器。
```
 cd utils/TTP_TEE_files
python ttp_server.py
```
- 假設：
  - TTP 伺服器相關詳細資訊在平台後端資料庫中設定。
  - TTP伺服器需要分別在連接埠7001和7002上接收來自各方的模型和資料集檔案以進行評估。
  - TTP伺服器將執行安全計算並將結果傳回給平台。
  - TTP 伺服器也要求 server.crt 和 server.key 檔案與 ttp_server.py 檔案位於同一目錄中。這些檔案用於使用首次運行後平台產生的 CA 在 TTP 伺服器和平台之間進行安全通信，需要使用以下命令產生。
```
openssl req -newkey rsa:2048 -nodes -keyout " ./server.key " -out server.csr -subj /CN=127.0.0.1

openssl x509 -req -in server.csr -CA path/ca.crt(generated by eval_website root) -CAkey /path/ca.key(generated by eval_website root) -CAcreateserial -out ./server.crt -days xxx
```
- TTP/TEE 伺服器需要設定環境變數 ENCRYPTION_KEY 才能運作（32 位元組/256 位元）金鑰。
```
 export ENCRYPTION_KEY="32 bytes key"
#generate a 32 bytes key using the following command
python -c 'import os, binascii; print(binascii.hexlify(os.urandom(32)).decode("utf-8"))'
```
可信執行環境（TEE）
- 可信任執行環境是一個單獨的伺服器，用於執行模型的安全計算（基於 TTP 腳本）。需要運行可信任執行環境才能執行安全計算。有關設定可信任執行環境的詳細說明，請參閱 TTP/TEE。
法學碩士
- 目前EzPC支援以下機型
  - 伯特蒂尼
  - 伯特基地
  - 伯特·拉格
  - 總蛋白2
  - GP-Neo
  - 美洲駝7b
  - 駱駝13b
- 有關如何使用 EzPC LLM 的更多信息，請參閱 EzPC LLM。