หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

นักวิ่ง RWKV

โปรเจ็กต์นี้มีจุดมุ่งหมายเพื่อขจัดอุปสรรคในการใช้โมเดลภาษาขนาดใหญ่โดยทำให้ทุกอย่างเป็นอัตโนมัติสำหรับคุณ สิ่งที่คุณต้องมีคือโปรแกรมปฏิบัติการที่มีน้ำหนักเบาซึ่งมีขนาดเพียงไม่กี่เมกะไบต์ นอกจากนี้ โปรเจ็กต์นี้ยังมีอินเทอร์เฟซที่เข้ากันได้กับ OpenAI API ซึ่งหมายความว่าไคลเอ็นต์ ChatGPT ทุกตัวจะเป็นไคลเอ็นต์ RWKV

ติดตั้ง

คำถามที่พบบ่อย | ดูตัวอย่าง | ดาวน์โหลด | ตัวอย่างการปรับใช้อย่างง่าย | ตัวอย่างการปรับใช้เซิร์ฟเวอร์ | อินพุตฮาร์ดแวร์ MIDI

เคล็ดลับ

  • คุณสามารถปรับใช้ backend-python บนเซิร์ฟเวอร์และใช้โปรแกรมนี้ในฐานะไคลเอนต์เท่านั้น กรอกที่อยู่เซิร์ฟเวอร์ของคุณใน API URL

  • หากคุณกำลังปรับใช้และให้บริการสาธารณะ โปรดจำกัดขนาดคำขอผ่านเกตเวย์ API เพื่อป้องกันการใช้ทรัพยากรมากเกินไปที่เกิดจากการส่งข้อความพร้อมท์ที่ยาวเกินไป นอกจากนี้ โปรดจำกัดขีดจำกัดสูงสุดของคำขอ 'max_tokens ตามสถานการณ์จริงของคุณ: https://github.com/josStorer/RWKV-Runner/blob/master/backend-python/utils/rwkv.py#L567 ค่าเริ่มต้นคือ กำหนดเป็น le=102400 ซึ่งอาจส่งผลให้มีการใช้ทรัพยากรจำนวนมากสำหรับการตอบสนองแต่ละรายการในกรณีที่รุนแรง

  • การกำหนดค่าเริ่มต้นได้เปิดใช้งานการเร่งความเร็วเคอร์เนล CUDA แบบกำหนดเอง ซึ่งเร็วกว่ามากและใช้ VRAM น้อยกว่ามาก หากคุณพบปัญหาความเข้ากันได้ที่อาจเกิดขึ้น (เอาต์พุตอ่านไม่ออก) ให้ไปที่หน้าการกำหนดค่าแล้วปิด Use Custom CUDA kernel to Accelerate หรือลองอัปเกรดไดรเวอร์ GPU ของคุณ

  • หาก Windows Defender อ้างว่านี่เป็นไวรัส คุณสามารถลองดาวน์โหลด v1.3.7_win.zip และปล่อยให้อัปเดตเป็นเวอร์ชันล่าสุดโดยอัตโนมัติ หรือเพิ่มลงในรายการที่เชื่อถือได้ ( Windows Security -> Virus & threat protection -> Manage settings - > Exclusions -> Add or remove exclusions -> Add an exclusion -> Folder -> RWKV-Runner )

  • สำหรับงานที่แตกต่างกัน การปรับพารามิเตอร์ API จะทำให้ได้ผลลัพธ์ที่ดีขึ้น ตัวอย่างเช่น สำหรับงานแปล คุณสามารถลองตั้งค่าอุณหภูมิเป็น 1 และ Top_P เป็น 0.3

คุณสมบัติ

  • การจัดการโมเดล RWKV และการเริ่มต้นเพียงคลิกเดียว

  • การแยกส่วนหน้าและส่วนหลัง หากคุณไม่ต้องการใช้ไคลเอ็นต์ ยังอนุญาตให้ปรับใช้บริการส่วนหน้าหรือบริการอนุมานส่วนหลัง หรือบริการอนุมานส่วนหลังด้วย WebUI แยกต่างหาก ตัวอย่างการปรับใช้อย่างง่าย | ตัวอย่างการปรับใช้เซิร์ฟเวอร์

  • เข้ากันได้กับ OpenAI API ทำให้ไคลเอนต์ ChatGPT ทุกตัวเป็นไคลเอนต์ RWKV หลังจากเริ่มต้นโมเดลแล้ว ให้เปิด http://127.0.0.1:8000/docs เพื่อดูรายละเอียดเพิ่มเติม

  • การติดตั้งการพึ่งพาอัตโนมัติ ต้องการเพียงโปรแกรมปฏิบัติการแบบไลท์เวทเท่านั้น

  • การกำหนดค่า VRAM หลายระดับที่ตั้งไว้ล่วงหน้า ทำงานได้ดีบนคอมพิวเตอร์เกือบทุกเครื่อง ในหน้าการกำหนดค่า ให้เปลี่ยนกลยุทธ์เป็น WebGPU ซึ่งสามารถทำงานบน AMD, Intel และกราฟิกการ์ดอื่นๆ ได้ด้วย

  • รวมอินเทอร์เฟซการโต้ตอบการแชท การเสร็จสิ้น และการเรียบเรียงที่ใช้งานง่าย นอกจากนี้ยังรองรับการตั้งค่าแชทล่วงหน้า การอัปโหลดไฟล์แนบ อินพุตฮาร์ดแวร์ MIDI และการแก้ไขแทร็ก ดูตัวอย่าง | อินพุตฮาร์ดแวร์ MIDI

  • ตัวเลือก WebUI ในตัว เริ่มต้นบริการเว็บเพียงคลิกเดียว แบ่งปันทรัพยากรฮาร์ดแวร์ของคุณ

  • การกำหนดค่าพารามิเตอร์ที่เข้าใจง่ายและใช้งาน พร้อมด้วยคำแนะนำการใช้งานต่างๆ

  • เครื่องมือแปลงโมเดลในตัว

  • การจัดการการดาวน์โหลดในตัวและการตรวจสอบโมเดลระยะไกล

  • LoRA Finetune ในตัวเพียงคลิกเดียว (เฉพาะวินโดวส์)

  • ยังสามารถใช้เป็น OpenAI ChatGPT, GPT-Playground, Ollama และไคลเอนต์อื่น ๆ อีกมากมาย (กรอก URL API และคีย์ API ในหน้าการตั้งค่า)

  • การแปลหลายภาษา

  • การสลับธีม

  • อัพเดตอัตโนมัติ

ตัวอย่างการปรับใช้อย่างง่าย

 git clone https://github.com/josStorer/RWKV-Runner# จากนั้น RWKV-Runner
python ./backend-python/main.py #บริการอนุมานแบ็กเอนด์ได้เริ่มต้นแล้ว ขอ /switch-model API เพื่อโหลดโมเดล โปรดดูเอกสารประกอบ API: http://127.0.0.1:8000/docs# Orcd RWKV -นักวิ่ง/ส่วนหน้า
เวลา 15.00 น
npm run build #คอมไพล์ส่วนหน้าcd ..
python ./backend-python/webui_server.py #เริ่มบริการส่วนหน้าแยกกัน# Orpython ./backend-python/main.py --webui #เริ่มบริการส่วนหน้าและส่วนหลังพร้อมกัน# Help Infopython ./backend-python/ main.py -h

การทดสอบความเครียดพร้อมกันของ API

 ab -p body.json -T แอปพลิเคชัน/json -c 20 -n 100 -l http://127.0.0.1:8000/chat/completions

ร่างกาย.json:

 { "ข้อความ": [
    { "role": "ผู้ใช้", "เนื้อหา": "สวัสดี"}
  -
-

ตัวอย่าง API การฝัง

หมายเหตุ: v1.4.0 ได้ปรับปรุงคุณภาพของ API การฝัง ผลลัพธ์ที่สร้างขึ้นเข้ากันไม่ได้กับเวอร์ชันก่อนหน้า หากคุณใช้ API การฝังเพื่อสร้างฐานความรู้หรือสิ่งที่คล้ายกัน โปรดสร้างใหม่

หากคุณใช้ langchain เพียงใช้ OpenAIEmbeddings(openai_api_base="http://127.0.0.1:8000", openai_api_key="sk-")

 นำเข้า numpy เป็น npimport ร้องขอdef cosine_similarity(a, b):return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))values ​​= ["ฉันเป็น เด็กผู้หญิง", "我是个女孩", "私HA女の子です", "广东人爱吃福建人", "我是个人类", "ฉันเป็นมนุษย์", "สุนัขตัวนั้นเป็นเช่นนั้น" น่ารัก", "私ฮะねこむスめです、にゃん♪", "宇宙级特大事件！号外号外!"]embeddings = []สำหรับ v ในค่า:r =ร้องขอ.post("http://127.0.0.1:8000 /การฝัง", json={"input": v})embedding = r.json()["data"][0]["embedding"]embeddings.append(embedding)compared_embedding = embeddings[0]embeddings_cos_sim = [cosine_similarity(compared_embedding, e ) สำหรับ e ในการฝัง]สำหรับฉันใน np.argsort(embeddings_cos_sim)[::-1]:print(f"{embeddings_cos_sim[i]:.10f} - {values[i]}")

อินพุต MIDI

เคล็ดลับ: คุณสามารถดาวน์โหลด https://github.com/josStorer/sgm_plus และแตกไฟล์ลงในไดเร็กทอรี assets/sound-font ของโปรแกรมเพื่อใช้เป็นแหล่งเสียงออฟไลน์ โปรดทราบว่าหากคุณคอมไพล์โปรแกรมจากซอร์สโค้ด อย่าวางไว้ในไดเร็กทอรีซอร์สโค้ด

หากคุณไม่มีแป้นพิมพ์ MIDI คุณสามารถใช้ซอฟต์แวร์อินพุต MIDI เสมือน เช่น Virtual Midi Controller 3 LE พร้อมด้วย loopMIDI เพื่อใช้แป้นพิมพ์คอมพิวเตอร์ทั่วไปเป็นอินพุต MIDI

การเชื่อมต่อ USB MIDI

  • อุปกรณ์ USB MIDI เป็นแบบพลักแอนด์เพลย์ และคุณสามารถเลือกอุปกรณ์อินพุตของคุณได้ในหน้าการเรียบเรียง

การเชื่อมต่อบลูทูธ Mac MIDI

  • สำหรับผู้ใช้ Mac ที่ต้องการใช้อินพุต Bluetooth โปรดติดตั้ง Bluetooth MIDI Connect จากนั้นคลิกไอคอนถาดเพื่อเชื่อมต่อหลังจากเปิดใช้งาน หลังจากนั้น คุณสามารถเลือกอุปกรณ์อินพุตของคุณได้ในหน้าองค์ประกอบ

การเชื่อมต่อบลูทูธ MIDI ของ Windows

  • ดูเหมือนว่า Windows จะใช้การสนับสนุน Bluetooth MIDI สำหรับแอป UWP (Universal Windows Platform) เท่านั้น ดังนั้นจึงต้องใช้หลายขั้นตอนในการสร้างการเชื่อมต่อ เราจำเป็นต้องสร้างอุปกรณ์ MIDI เสมือนในเครื่องแล้วเปิดแอปพลิเคชัน UWP ผ่านแอปพลิเคชัน UWP นี้ เราจะเปลี่ยนเส้นทางอินพุต Bluetooth MIDI ไปยังอุปกรณ์ MIDI เสมือน จากนั้นซอฟต์แวร์นี้จะฟังอินพุตจากอุปกรณ์ MIDI เสมือน

  • ก่อนอื่น คุณต้องดาวน์โหลด loopMIDI เพื่อสร้างอุปกรณ์ MIDI เสมือน คลิกเครื่องหมายบวกที่มุมซ้ายล่างเพื่อสร้างอุปกรณ์

  • ถัดไป คุณต้องดาวน์โหลด Bluetooth LE Explorer เพื่อค้นหาและเชื่อมต่อกับอุปกรณ์ Bluetooth MIDI คลิก "เริ่ม" เพื่อค้นหาอุปกรณ์ จากนั้นคลิก "จับคู่" เพื่อผูกอุปกรณ์ MIDI

  • สุดท้าย คุณต้องติดตั้ง MIDIberry แอปพลิเคชัน UWP นี้สามารถเปลี่ยนเส้นทางอินพุต MIDI ของ Bluetooth ไปยังอุปกรณ์ MIDI เสมือนได้ หลังจากเปิดใช้งานแล้ว คลิกสองครั้งที่ชื่ออุปกรณ์ Bluetooth MIDI จริงของคุณในช่องอินพุต และในช่องเอาต์พุต คลิกสองครั้งที่ชื่ออุปกรณ์ MIDI เสมือนที่เราสร้างไว้ก่อนหน้านี้

  • ตอนนี้ คุณสามารถเลือกอุปกรณ์ MIDI เสมือนเป็นข้อมูลเข้าในหน้าการเรียบเรียงได้ ไม่จำเป็นต้องเรียกใช้ Bluetooth LE Explorer อีกต่อไป และคุณยังสามารถปิดหน้าต่าง loopMIDI ได้อีกด้วย โดยมันจะทำงานโดยอัตโนมัติในเบื้องหลัง เพียงเปิด MIDIberry ไว้

ที่เก็บข้อมูลที่เกี่ยวข้อง:

  • RWKV-5-โลก: https://huggingface.co/BlinkDL/rwkv-5-world/tree/main

  • RWKV-4-โลก: https://huggingface.co/BlinkDL/rwkv-4-world/tree/main

  • RWKV-4-กา: https://huggingface.co/BlinkDL/rwkv-4-raven/tree/main

  • ChatRWKV: https://github.com/BlinkDL/ChatRWKV

  • RWKV-LM: https://github.com/BlinkDL/RWKV-LM

  • RWKV-LM-LoRA: https://github.com/Blealtan/RWKV-LM-LoRA

  • RWKV-v5-ลอรา: https://github.com/JL-er/RWKV-v5-lora

  • MIDI-LLM-โทเค็น: https://github.com/briansemrau/MIDI-LLM-tokenizer

  • ai00_rwkv_server: https://github.com/cgisky1980/ai00_rwkv_server

  • rwkv.cpp: https://github.com/saharNooby/rwkv.cpp

  • เว็บ rwkv-py: https://github.com/cryscan/web-rwkv-py

  • เว็บ rwkv: https://github.com/cryscan/web-rwkv

ดูตัวอย่าง

หน้าแรก

แชท

เสร็จสิ้น

องค์ประกอบ

เคล็ดลับ: คุณสามารถดาวน์โหลด https://github.com/josStorer/sgm_plus และแตกไฟล์ลงในไดเร็กทอรี assets/sound-font ของโปรแกรมเพื่อใช้เป็นแหล่งเสียงออฟไลน์ โปรดทราบว่าหากคุณคอมไพล์โปรแกรมจากซอร์สโค้ด อย่าวางไว้ในไดเร็กทอรีซอร์สโค้ด

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด
ความคิดเห็นจากผู้ใช้