RWKV Runner 다운로드 - RWKV Runner 소스 코드 다운로드

RWKV Runner

기타 소스코드

v1.8.8

다운로드

RWKV 러너

이 프로젝트는 모든 것을 자동화하여 대규모 언어 모델 사용의 장벽을 제거하는 것을 목표로 합니다. 필요한 것은 단지 몇 메가바이트에 불과한 경량 실행 프로그램뿐입니다. 또한 이 프로젝트는 OpenAI API와 호환되는 인터페이스를 제공합니다. 이는 모든 ChatGPT 클라이언트가 RWKV 클라이언트임을 의미합니다.

설치하다

팁

backend-python을 서버에 배포하고 이 프로그램을 클라이언트로만 사용할 수 있습니다. 설정 API URL 에 서버 주소를 입력하세요.
공용 서비스를 배포 및 제공하는 경우 API 게이트웨이를 통해 요청 크기를 제한하여 지나치게 긴 프롬프트 제출로 인한 과도한 리소스 사용을 방지하세요. 또한 실제 상황에 따라 요청의 max_tokens 상한을 제한하십시오: https://github.com/josStorer/RWKV-Runner/blob/master/backend-python/utils/rwkv.py#L567, 기본값은 le=102400으로 설정하면 극단적인 경우 개별 응답에 상당한 리소스가 소모될 수 있습니다.
기본 구성을 통해 훨씬 더 빠르고 훨씬 적은 VRAM을 소비하는 맞춤형 CUDA 커널 가속이 활성화되었습니다. 가능한 호환성 문제(출력 왜곡)가 발생하는 경우 구성 페이지로 이동하여 Use Custom CUDA kernel to Accelerate 끄거나 GPU 드라이버를 업그레이드해 보세요.
Windows Defender에서 이것이 바이러스라고 주장하는 경우 v1.3.7_win.zip을 다운로드하여 자동으로 최신 버전으로 업데이트하거나 신뢰할 수 있는 목록에 추가할 수 있습니다( Windows Security -> Virus & threat protection -> Manage settings - > Exclusions -> Add or remove exclusions -> Add an exclusion -> Folder -> RWKV-Runner ).
다양한 작업의 경우 API 매개변수를 조정하면 더 나은 결과를 얻을 수 있습니다. 예를 들어 변환 작업의 경우 온도를 1로, Top_P를 0.3으로 설정해 볼 수 있습니다.

특징

RWKV 모델 관리 및 원클릭 시작.
클라이언트를 사용하지 않으려는 경우 프런트엔드와 백엔드 분리를 통해 프런트엔드 서비스, 백엔드 추론 서비스 또는 WebUI를 사용하는 백엔드 추론 서비스를 별도로 배포할 수도 있습니다. 간단한 배포 예 | 서버 배포 예
OpenAI API와 호환되어 모든 ChatGPT 클라이언트를 RWKV 클라이언트로 만듭니다. 모델을 시작한 후 http://127.0.0.1:8000/docs를 열어 자세한 내용을 확인하세요.
가벼운 실행 프로그램만 필요한 자동 종속성 설치.
사전 설정된 다중 레벨 VRAM 구성은 거의 모든 컴퓨터에서 잘 작동합니다. 구성 페이지에서 전략을 WebGPU로 전환하면 AMD, Intel 및 기타 그래픽 카드에서도 실행할 수 있습니다.
사용자 친화적인 채팅, 완성 및 구성 상호 작용 인터페이스가 포함되어 있습니다. 또한 채팅 사전 설정, 첨부 파일 업로드, MIDI 하드웨어 입력 및 트랙 편집을 지원합니다. 미리보기 | MIDI 하드웨어 입력
내장된 WebUI 옵션, 원클릭 웹 서비스 시작, 하드웨어 리소스 공유.
다양한 작동 안내 프롬프트와 함께 이해하기 쉬운 매개변수 구성 및 작동이 가능합니다.
내장형 모델 변환 도구.
내장된 다운로드 관리 및 원격 모델 검사.
원클릭 LoRA Finetune이 내장되어 있습니다. (윈도우에만 해당)
OpenAI ChatGPT, GPT-Playground, Ollama 등의 클라이언트로도 사용할 수 있습니다. (설정 페이지에서 API URL과 API Key를 입력하세요)
다국어 현지화.
테마 전환.
자동 업데이트.

간단한 배포 예

 자식 복제 https://github.com/josStorer/RWKV-Runner# Thencd RWKV-Runner
python ./backend-python/main.py # 백엔드 추론 서비스가 시작되었습니다. /switch-model API를 요청하여 모델을 로드하세요. API 문서를 참조하세요: http://127.0.0.1:8000/docs# Orcd RWKV -러너/프론트엔드
npm ci
npm run build #frontendcd 컴파일 ..
python ./backend-python/webui_server.py # 프런트엔드 서비스를 별도로 시작# Orpython ./backend-python/main.py --webui # 프런트엔드와 백엔드 서비스를 동시에 시작# 도움말 Infopython ./backend-python/ main.py -h

API 동시성 스트레스 테스트

 ab -p body.json -T 애플리케이션/json -c 20 -n 100 -l http://127.0.0.1:8000/chat/completions

body.json:

 { "메시지": [
    { "역할": "사용자", "콘텐츠": "안녕하세요"}
  ]
}

임베딩 API 예

참고: v1.4.0에서는 임베딩 API의 품질이 향상되었습니다. 생성된 결과는 이전 버전과 호환되지 않습니다. Embeddings API를 사용하여 지식 베이스 등을 생성하는 경우 다시 생성하세요.

langchain을 사용하는 경우 OpenAIEmbeddings(openai_api_base="http://127.0.0.1:8000", openai_api_key="sk-") 사용하세요.

 npimport 요청으로 numpy 가져오기def cosine_similarity(a, b):return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))values = ["나는 a입니다. girl","我是个女孩","私は女の子ides","广东人爱吃福建人","我是个人类","나는 인간이다","저 개는 정말 귀여워","私はね이것은 정말 ゃん♪","宇宙级特大事件！号外号外!"]embeddings = []for v in value:r =requests.post("http://127.0.0.1:8000 /embeddings", json={"입력": v})embedding = r.json()["data"][0]["embedding"]embeddings.append(embedding)compared_embedding = embeddings[0]embeddings_cos_sim = [cosine_similarity(compared_embedding, e) for e in embeddings]for 나는 np.argsort(embeddings_cos_sim)[::-1]:print(f"{embeddings_cos_sim[i]:.10f} - {values[i]}")

미디 입력

팁: https://github.com/josStorer/sgm_plus를 다운로드하고 프로그램의 assets/sound-font 디렉터리에 압축을 풀어 오프라인 음원으로 사용할 수 있습니다. 소스 코드에서 프로그램을 컴파일하는 경우 해당 프로그램을 소스 코드 디렉터리에 두지 마십시오.

MIDI 키보드가 없으면 loopMIDI와 함께 Virtual Midi Controller 3 LE 와 같은 가상 MIDI 입력 소프트웨어를 사용하여 일반 컴퓨터 키보드를 MIDI 입력으로 사용할 수 있습니다.

USB 미디 연결

USB MIDI 장치는 플러그 앤 플레이 방식이며 컴포지션 페이지에서 입력 장치를 선택할 수 있습니다.

맥 MIDI 블루투스 연결

Bluetooth 입력을 사용하려는 Mac 사용자의 경우 Bluetooth MIDI Connect를 설치한 후 실행 후 트레이 아이콘을 클릭하여 연결한 후 구성 페이지에서 입력 장치를 선택할 수 있습니다.

윈도우 미디 블루투스 연결

Windows에서는 UWP(Universal Windows Platform) 앱에 대해서만 Bluetooth MIDI 지원을 구현한 것 같습니다. 따라서 연결을 설정하려면 여러 단계가 필요합니다. 로컬 가상 MIDI 장치를 만든 다음 UWP 애플리케이션을 시작해야 합니다. 이 UWP 애플리케이션을 통해 Bluetooth MIDI 입력을 가상 MIDI 장치로 리디렉션한 다음 이 소프트웨어가 가상 MIDI 장치의 입력을 듣습니다.
따라서 먼저 가상 MIDI 장치를 생성하려면 loopMIDI를 다운로드해야 합니다. 장치를 생성하려면 왼쪽 하단에 있는 더하기 기호를 클릭하세요.
다음으로, Bluetooth MIDI 장치를 검색하고 연결하려면 Bluetooth LE Explorer를 다운로드해야 합니다. "시작"을 클릭하여 장치를 검색한 다음 "페어링"을 클릭하여 MIDI 장치를 바인딩하세요.
마지막으로 MIDIberry를 설치해야 합니다. 이 UWP 애플리케이션은 Bluetooth MIDI 입력을 가상 MIDI 장치로 리디렉션할 수 있습니다. 실행 후 입력 필드에서 실제 Bluetooth MIDI 장치 이름을 두 번 클릭하고, 출력 필드에서 앞서 생성한 가상 MIDI 장치 이름을 두 번 클릭합니다.
이제 컴포지션 페이지에서 가상 MIDI 장치를 입력으로 선택할 수 있습니다. Bluetooth LE Explorer는 더 이상 실행할 필요가 없으며 loopMIDI 창을 닫을 수도 있습니다. 그러면 백그라운드에서 자동으로 실행됩니다. 그냥 MIDIberry를 열어두세요.

시사

홈페이지

채팅

완성

구성

팁: https://github.com/josStorer/sgm_plus를 다운로드하고 프로그램의 assets/sound-font 디렉터리에 압축을 풀어 오프라인 음원으로 사용할 수 있습니다. 소스 코드에서 프로그램을 컴파일하는 경우 해당 프로그램을 소스 코드 디렉터리에 두지 마십시오.

확장하다

추가 정보