llm comparison tool

큰 언어 모델 비교

이 프로젝트를 통해 여러 대형 언어 모델에 대해 프롬프트를 테스트하고 결과를 비교할 수 있습니다.

1. 비교할 모델을 선택하십시오.
2. 질문이나 프롬프트를 입력하십시오.
3. 결과를 비교하십시오.

OpenRouter를 사용하여 다른 모델에 연결합니다. 일부 모델은 무료이며 다른 모델은 그렇지 않습니다. 유료 모델을 사용하기로 결정한 경우 OpenRouter는 놀라운 청구서를 피하기위한 신용 한도를 가지고 있습니다.

경고 : 개인 및 기밀 정보 에이 프로젝트를 사용하지 마십시오. OpenRouter는 다른 공급자에게 연결합니다. 나는 OpenRouter와 제공자의 개인 정보 보호 정책을 보증 할 수 없습니다. OpenRouter에 보내는 것이 공개적이라고 가정하고 그에 따라 행동하십시오.

빠른 시작 가이드

먼저, 아직 그렇게하지 않았다면 환경을 준비하십시오.

다음 명령을 실행하여 환경을 활성화하고 브라우저에서 응용 프로그램을 시작하십시오.

 source venv/bin/activate
streamlit run app.py

브라우저에서 터미널에 표시된 URL을 엽니 다.

컨테이너로 실행됩니다

1. 컨테이너 빌드 : docker build --progress=plain -t llm-comparison .
2. 컨테이너를 시작하십시오 : docker compose up -d
3. http : // machine_address : 8501로 브라우저 창을 엽니 다 (로컬에서 실행중인 경우 : http : // localhost : 8501)
4. 완료되면 컨테이너를 정지하십시오. docker compose down

환경 준비

이것은 일회성 단계입니다. 이미이 작업을 수행 한 경우 source venv/bin/activate 사용하여 가상 환경을 활성화하십시오.

환경을 준비하기위한 두 단계가 있습니다.

1. 파이썬 환경
2. OpenRouter API 키

파이썬 환경

가상 환경을 만들려면 다음 명령을 실행하고 필요한 패키지를 설치하십시오.

python3 -m venv venv
source venv/bin/activate
pip install --upgrade pip
pip install -r requirements.txt

OpenRouter API 키

이 코드는 OpenRouter를 사용하여 여러 모델에 액세스합니다. 지원되는 모델 목록은 여기를 참조하십시오.

이미 OpenRouter 계정이있는 경우 여기에서 API 키를 만듭니다. 계정이없는 경우 여기에 계정을 만들고 API 키를 만듭니다. 유료 모델을 사용하려는 경우 선택적으로 크레딧을 추가하십시오.

API 키가 있으면 다음 내용으로 Project Root 디렉토리에서 .env 파일을 만듭니다.

OPENROUTER_API_KEY= < your key >

여기에 키를 추가하는 것이 안전합니다. 그것은 결코 저장소에 전념하지 않을 것입니다.