경고 : 이것은 학문적 개념 증명 프로토타입이며 신중한 코드 검토를 받지 않았습니다. 이 구현은 프로덕션 용도로 사용할 준비가 되지 않았습니다.
전철기
이 프로젝트는 사용자가 머신러닝 모델에 대한 비공개 벤치마킹을 수행할 수 있는 플랫폼을 만드는 것을 목표로 합니다. 플랫폼은 모델 소유자와 데이터 세트 소유자 간의 다양한 신뢰 수준을 기반으로 모델 평가를 용이하게 합니다.
이 저장소는 논문 https://arxiv.org/abs/2403.00393에 대한 동반 코드를 제공합니다.
TRUCE: 오염을 방지하고 LLM의 비교 평가를 개선하기 위한 비공개 벤치마킹
탄메이 라조레, 니샨스 찬드란, 수나야나 시타람, 디비야 굽타, 라훌 샤르마, 카시시 미탈, 마노하르 스와미나탄
완전한 빌드 및 EzPC LLM 지원을 위해
(In setup.sh)
line 42: export CUDA_VERSION=11.8
line 43: export GPU_ARCH=90
./setup.sh
Enter the Server IP address:
플랫폼만
pip install -r requirements.txt
cd eval_website/eval_website
python manage.py makemigrations
python manage.py migrate
python manage.py runserver 0.0.0.0:8000
설치 후 프로젝트를 사용하려면 방문하십시오.
http://127.0.0.1:8000(로컬호스트) 또는 http://
특정 포트는 다음과 같이 미리 할당되어 있습니다.
cd utils/TTP_TEE_files
python ttp_server.pyopenssl req -newkey rsa:2048 -nodes -keyout " ./server.key " -out server.csr -subj /CN=127.0.0.1
openssl x509 -req -in server.csr -CA path/ca.crt(generated by eval_website root) -CAkey /path/ca.key(generated by eval_website root) -CAcreateserial -out ./server.crt -days xxx export ENCRYPTION_KEY="32 bytes key"
#generate a 32 bytes key using the following command
python -c 'import os, binascii; print(binascii.hexlify(os.urandom(32)).decode("utf-8"))'
현재 EzPC는 다음 모델을 지원합니다.
EzPC LLM 사용 방법에 대한 자세한 내용은 EzPC LLM을 참조하세요.
테이블을 생성하기 위한 논문에 대한 아티팩트 평가는 아티팩트 평가에서 확인할 수 있습니다.
이 프로젝트에 기여하고 싶으시면 Contribution.md 파일에 설명된 지침을 따르십시오.
이 프로젝트는 [MIT] 라이선스에 따라 라이선스가 부여됩니다. 자세한 내용은 LICENSE 파일을 참조하세요.
