หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

โมเดล GPTQ ใน LangChain

บทนำ

พื้นที่เก็บข้อมูลนี้มอบเฟรมเวิร์กที่เป็นไปได้พร้อมตัวอย่างเชิงปฏิบัติสำหรับการพัฒนาแอปพลิเคชันที่ขับเคลื่อนโดยโมเดลภาษาโอเพ่นซอร์ส (LLM) เชิงปริมาณร่วมกับ LangChain โดยเฉพาะอย่างยิ่ง คู่มือนี้มุ่งเน้นไปที่การใช้งานและการใช้ประโยชน์จากตัวแปร Quantized GPTQ 4 บิตของ LLM ต่างๆ เช่น WizardLM และ WizardLM-Mega แม้ว่าทรัพยากรที่ทุ่มเทให้กับหัวข้อเฉพาะนี้จะมีจำกัดทางออนไลน์ แต่พื้นที่เก็บข้อมูลนี้มีจุดมุ่งหมายเพื่อลดช่องว่างนั้นและเสนอคำแนะนำที่ครอบคลุม

การดำเนิน LLM ในพื้นที่มีข้อดีหลายประการ โดยที่ความเป็นส่วนตัวเป็นปัจจัยสำคัญ ด้วยการเก็บข้อมูลของคุณไว้ในฮาร์ดแวร์ของคุณเอง คุณสามารถใช้ประโยชน์จากความสามารถของโมเดลเหล่านี้ได้โดยไม่ต้องพึ่งพา API ภายนอก ทำให้มั่นใจในการควบคุมข้อมูลของคุณได้ดียิ่งขึ้น และช่วยให้สามารถพัฒนาแอปพลิเคชันที่น่าตื่นเต้นได้

ข้อกำหนดเบื้องต้น

  • อูบุนตู 22.04 / WSL2 อูบุนตูสำหรับ Windows
  • Nvidia GPU ที่มี VRAM อย่างน้อย 6GB
    • VRAM ขนาด 6GB เพียงพอสำหรับการโหลดรุ่น 7B 4 บิต
  • 8 เธรด CPU
  • แนะนำให้ใช้ RAM 16 GB
  • ติดตั้งไดรเวอร์ Nvidia แล้ว (คำสั่ง nvidia-smi ควรใช้งานได้)
  • พื้นที่ดิสก์เพียงพอสำหรับแพ็คเกจ ไดรเวอร์ และไฟล์รุ่น (~30GB อาจแตกต่างกันไปขึ้นอยู่กับระบบ)
  • Git LFS

หมายเหตุ: จะมีการเพิ่มการสนับสนุนนักเทียบท่า

รุ่นที่ผ่านการทดสอบ

ขณะนี้รองรับโมเดล GPTQ ต่อไปนี้:

  • ตัวช่วยสร้างLM-7B-GPTQ
  • WizardLM-7B-ไม่เซ็นเซอร์-GPTQ

ลุกขึ้นและวิ่ง

ในการเริ่มใช้โมเดล GPTQ กับ langchain มีขั้นตอนสำคัญบางประการ:

  1. ตั้งค่าสภาพแวดล้อม Python
  2. ติดตั้งชุดเครื่องมือ Pytorch และ CUDA เวอร์ชันที่ถูกต้อง
  3. ตั้งค่า quant_cuda อย่างถูกต้อง
  4. ดาวน์โหลดโมเดล GPTQ จาก HuggingFace
  5. หลังจากทำตามขั้นตอนข้างต้นแล้ว คุณสามารถเรียกใช้ demo.py และใช้ LLM กับ LangChain ได้เหมือนกับที่คุณทำกับโมเดล OpenAI

การสร้างสภาพแวดล้อมคอนดา

ติดตั้ง Miniconda โดยทำตามคำแนะนำจากเว็บไซต์อย่างเป็นทางการ

เพื่อตรวจสอบว่า conda ได้รับการตั้งค่าอย่างถูกต้องหรือไม่

$ conda --version

เริ่มต้น conda บนเชลล์ของคุณ

$ conda init

สร้างสภาพแวดล้อม conda ใหม่ ตรวจสอบให้แน่ใจว่าใช้เวอร์ชัน Python ที่ระบุ เนื่องจากได้รับการทดสอบใน 3.10.9 เท่านั้น

$ conda create -n wizardlm_langchain python=3.10.9

เมื่อสร้างสภาพแวดล้อมใหม่แล้ว ให้เปิดใช้งาน

$ conda activate wizardlm_langchain

การตั้งค่าสภาพแวดล้อม

กระบวนการทั้งหมดที่กล่าวถึงข้างต้นตั้งแต่ข้อ 2 ถึง 4 จะเป็นไปโดยอัตโนมัติโดยใช้สคริปต์ทุบตี setup.sh ปรับเปลี่ยนได้ตามใจชอบ 

$ bash ./setup.sh

ขั้นตอนทั้งหมดควรรันอย่างเหมาะสมโดยไม่มีข้อผิดพลาด หากตั้งค่าสภาพแวดล้อมอย่างถูกต้อง

หากคุณพบข้อยกเว้นต่อไปนี้ขณะใช้งานการสาธิต: 

 Exception: Error while deserializing header: HeaderTooLarge

นั่นหมายความว่าโมเดลนี้ไม่ได้ดาวน์โหลดอย่างสมบูรณ์ ดังนั้นคุณสามารถลองดาวน์โหลดใหม่อีกครั้งได้โดยใช้คำสั่ง git clone ที่พบใน setup.py

ก่อนที่จะรันการสาธิต คุณควรปิดใช้งานและเปิดใช้งานสภาพแวดล้อมอีกครั้งเมื่อคุณตั้งค่าเป็นครั้งแรก

เรียกใช้การสาธิต:

$ python demo.py

การใช้ setup.sh จะดาวน์โหลดโมเดล WizardLM-7B-GPTQ ตามค่าเริ่มต้น แต่ถ้าคุณต้องการใช้โมเดลอื่นที่ทดสอบกับโปรเจ็กต์นี้ คุณสามารถใช้สคริปต์ download_model.sh 

$ download_model.sh < HUGGING FACE MODEL NAME >
# Example
$ ./download_model.sh " TheBloke/WizardLM-7B-uncensored-GPTQ "

หมายเหตุ: หากคุณไม่สามารถดาวน์โหลดโมเดลทั้งหมดจาก HF ได้ ตรวจสอบให้แน่ใจว่า Git LFS ได้รับการกำหนดค่าอย่างถูกต้อง คำสั่ง git lfs install บางครั้งอาจทำให้งานเสร็จได้

การใช้งาน

เมื่อคุณเสร็จสิ้นขั้นตอนการตั้งค่าแล้ว คุณสามารถใช้โมเดล GPTQ กับ LangChain ได้โดยทำตามขั้นตอนเหล่านี้:

ตรวจสอบให้แน่ใจว่าได้ผนวก dir รูทโปรเจ็กต์ wizardlm_langchain เข้ากับ PYTHONPATH เพื่อใช้งานทั่วโลก

โปรดดูตัวอย่างสคริปต์ demo.py เพื่อทำความเข้าใจวิธีใช้งาน

มีส่วนร่วม

ยินดีมีส่วนร่วมในการเก็บข้อมูลนี้ หากคุณพบปัญหาใด ๆ หรือมีข้อเสนอแนะสำหรับการปรับปรุง โปรดอย่าลังเลที่จะเปิดปัญหาหรือส่งคำขอดึง

เมื่อมีส่วนร่วม โปรดปฏิบัติตามหลักเกณฑ์ต่อไปนี้:

  • แยกพื้นที่เก็บข้อมูลและสร้างสาขาใหม่สำหรับการสนับสนุนของคุณ
  • รวมเอกสารและความคิดเห็นในกรณีที่จำเป็น
  • เขียนข้อความยืนยันที่ชัดเจน
  • ทดสอบการเปลี่ยนแปลงของคุณอย่างละเอียดก่อนที่จะส่งคำขอดึง

ใบอนุญาต

พื้นที่เก็บข้อมูลนี้ได้รับอนุญาตภายใต้สัญญาอนุญาตสาธารณะ GNU ดูไฟล์ใบอนุญาตสำหรับข้อมูลเพิ่มเติม

รับทราบ

เราขอขอบคุณการมีส่วนร่วมของชุมชนโอเพ่นซอร์สและผู้พัฒนาโมเดล GPTQ ดั้งเดิมที่ใช้ในพื้นที่เก็บข้อมูลนี้ ต้องขอบคุณ oobabooga/text-gen-webui นับล้าน งานของพวกเขาช่วยได้มากในการตั้งค่าโมเดล GPTQ ด้วย langchain

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด