serge 다운로드 - serge 소스 코드 다운로드

serge

파이썬

0.9.0 - Updates to dependencies and UI fixes

다운로드

Serge - LLaMA가 쉬워졌나요?

Serge는 GGUF 모델을 실행하기 위해 llama.cpp로 제작된 채팅 인터페이스입니다. API 키가 없으며 완전히 자체 호스팅됩니다!

SvelteKit 프론트엔드
? 채팅 기록 및 매개변수를 저장하는 Redis
API용 FastAPI + LangChain , Python 바인딩을 사용하여 llama.cpp에 대한 호출 래핑

? 데모:

데모.webm

⚡️ 빠른 시작

? 도커:

docker run -d 
    --name serge 
    -v weights:/usr/src/app/weights 
    -v datadb:/data/db/ 
    -p 8008:8008 
    ghcr.io/serge-chat/serge:latest

? 도커 작성:

 services :
  serge :
    image : ghcr.io/serge-chat/serge:latest
    container_name : serge
    restart : unless-stopped
    ports :
      - 8008:8008
    volumes :
      - weights:/usr/src/app/weights
      - datadb:/data/db/

volumes :
  weights :
  datadb :

그런 다음 http://localhost:8008을 방문하세요. http://localhost:8008/api/docs에서 API 설명서를 찾을 수 있습니다.

? 환경 변수

다음 환경 변수를 사용할 수 있습니다.

변수 이름	설명	기본값
`SERGE_DATABASE_URL`	데이터베이스 연결 문자열	`sqlite:////data/db/sql_app.db`
`SERGE_JWT_SECRET`	인증 토큰 암호화를 위한 키입니다. 임의의 문자열 사용	`uF7FGN5uzfGdFiPzR`
`SERGE_SESSION_EXPIRY`	사용자가 재인증해야 하는 시간(분)	`60`
`NODE_ENV`	Node.js 실행 환경	`production`

윈도우

Docker Desktop이 설치되어 있고, WSL2가 구성되어 있으며, 모델을 실행하기에 충분한 여유 RAM이 있는지 확인하세요.

☁️ 쿠버네티스

Kubernetes에서 Serge를 설정하는 방법은 위키에서 찾을 수 있습니다.

? 지원되는 모델

범주	모델
알프레드	40B-1023
바이오미스트랄	7B
암호	13B, 33B
코드LLaMA	7B, 7B-인스트럭트, 7B-파이썬, 13B, 13B-인스트럭트, 13B-파이썬, 34B, 34B-인스트럭트, 34B-파이썬
코드스트랄	22B v0.1
아체	2B, 1.1-2B-인스트럭트, 7B, 1.1-7B-인스트럭트, 2-9B, 2-9B-인스트럭트, 2-27B, 2-27B-인스트럭트
고릴라	Falcon-7B-HF-v0, 7B-HF-v1, 개방형 기능-v1, 개방형 기능-v2
매	7B, 7B-지시, 11B, 40B, 40B-지시
라마 2	7B, 7B-채팅, 7B-코더, 13B, 13B-채팅, 70B, 70B-채팅, 70B-OASST
라마 3	11B-명령, 13B-명령, 16B-명령
LLaMA 프로	8B, 8B-지시
수학스트랄	7B
메드42	70B, v2-8B, v2-70B
메달파카	13B
약	채팅, LLM
메디트론	7B, 7B-채팅, 70B, 3-8B
메타-LlaMA-3	3-8B, 3.1-8B, 3.2-1B-인스트럭트, 3-8B-인스트럭트, 3.1-8B-인스트럭트, 3.2-3B-인스트럭트, 3-70B, 3.1-70B, 3-70B-인스트럭트, 3.1-70B- 지시하다
미스트랄	7B-V0.1, 7B-Instruct-v0.2, 7B-OpenOrca, Nemo-Instruct
미스트랄라이트	7B
믹스트랄	8x7B-v0.1, 8x7B-돌핀-2.7, 8x7B-Instruct-v0.1
신경채팅	7B-v3.3
노토스	7B-v1
노툭스	8x7b-v1
누-헤르메스 2	미스트랄-7B-DPO, 믹스트랄-8x7B-DPO, 미스트랄-8x7B-SFT
오픈챗	7B-v3.5-1210? 8B-v3.6-20240522
오픈코드 인터프리터	DS-6.7B, DS-33B, CL-7B, CL-13B, CL-70B
오픈LLaMA	3B-v2, 7B-v2, 13B-v2
오르카 2	7B, 13B
피	2-2.7B, 3-미니-4k-인스트럭트, 3.1-미니-4k-인스트럭트, 3.1-미니-128k-인스트럭트, 3.5-미니-인스트럭트, 3-미디엄-4k-인스트럭트, 3-미디엄-128k-인스트럭트
파이썬 코드	13B, 33B
싸이메드RP	13B-v1, 20B-v1
스탈링 LM	7B-알파
태양광	10.7B-v1.0, 10.7B-instruct-v1.0
작은라마	1.1B
비쿠나	7B-v1.5, 13B-v1.5, 33B-v1.3, 33B-코더
WizardLM	2-7B, 13B-v1.2, 70B-v1.0
미풍	3B, 7B-알파, 7B-베타

GitHub 문제를 열어 추가 모델을 요청할 수 있습니다. 다른 모델도 Serge Models에서 구입할 수 있습니다.

️ 메모리 사용량

모델에 사용 가능한 메모리가 충분하지 않으면 LLaMA가 충돌합니다.

지원하다

도움이 필요하신가요? 우리의 디스코드에 참여하세요

? 특허

Nathan Sarrazin 및 기여자. Serge 는 MIT 라이센스 및 Apache-2.0에 따라 라이센스가 부여된 무료 오픈 소스 소프트웨어입니다.

? 기여

버그를 발견했거나 기능 아이디어가 있으면 언제든지 이슈를 공개하거나 PR해 주세요.

개발 모드에서 Serge를 실행하려면:

git clone https://github.com/serge-chat/serge.git
cd serge/
docker compose -f docker-compose.dev.yml up --build

솔루션은 포트 5678에서 Python 디버거 세션을 허용합니다. VSCode용 launch.json 예:

{
    "version" : " 0.2.0 " ,
    "configurations" : [
        {
            "name" : " Remote Debug " ,
            "type" : " python " ,
            "request" : " attach " ,
            "connect" : {
                "host" : " localhost " ,
                "port" : 5678
            },
            "pathMappings" : [
                {
                    "localRoot" : " ${workspaceFolder}/api " ,
                    "remoteRoot" : " /usr/src/app/api/ "
                }
            ],
            "justMyCode" : false
        }
    ]
}