警告: これは学術的な概念実証のプロトタイプであり、慎重なコードレビューを受けていません。この実装は実稼働環境で使用する準備ができていません。
ポイント
このプロジェクトは、ユーザーが機械学習モデルのプライベート ベンチマークを実行できるプラットフォームを作成することを目的としています。このプラットフォームは、モデル所有者とデータセット所有者間の異なる信頼レベルに基づいてモデルの評価を容易にします。
このリポジトリは、論文 https://arxiv.org/abs/2403.00393 の付属コードを提供します。
TRUCE: 汚染を防止し、LLM の比較評価を向上させるための民間ベンチマーク
タンメイ・ラジョール、ニシャンス・チャンドラン、スナヤナ・シタラム、ディヴィヤ・グプタ、ラーフル・シャルマ、カシシュ・ミタル、マノハール・スワミナサン
完全なビルドと EzPC LLM サポート
(In setup.sh)
line 42: export CUDA_VERSION=11.8
line 43: export GPU_ARCH=90
./setup.sh
Enter the Server IP address:
プラットフォームのみ
pip install -r requirements.txt
cd eval_website/eval_website
python manage.py makemigrations
python manage.py migrate
python manage.py runserver 0.0.0.0:8000
インストール後にプロジェクトを使用するには、にアクセスしてください。
http://127.0.0.1:8000 (ローカルホスト上) または http://
特定のポートは次のように事前に割り当てられます。
cd utils/TTP_TEE_files
python ttp_server.pyopenssl req -newkey rsa:2048 -nodes -keyout " ./server.key " -out server.csr -subj /CN=127.0.0.1
openssl x509 -req -in server.csr -CA path/ca.crt(generated by eval_website root) -CAkey /path/ca.key(generated by eval_website root) -CAcreateserial -out ./server.crt -days xxx export ENCRYPTION_KEY="32 bytes key"
#generate a 32 bytes key using the following command
python -c 'import os, binascii; print(binascii.hexlify(os.urandom(32)).decode("utf-8"))'
現在、EzPC は次のモデルをサポートしています
EzPC LLM の使用方法の詳細については、EzPC LLM を参照してください。
テーブルを生成するための論文のアーティファクト評価は、アーティファクト評価で確認できます。
このプロジェクトに貢献したい場合は、contributor.md ファイルに記載されているガイドラインに従ってください。
このプロジェクトは、[MIT] ライセンスに基づいてライセンスされています。詳細については、LICENSE ファイルを参照してください。
