Updated Langchain for GenAI Pet project v2

การสร้าง Chatbot โดยใช้ LLM แบบชำระเงินและโอเพ่นซอร์สโดยใช้ Langchain และ Ollama

โปรเจ็กต์แบบครบวงจรนี้ช่วยลดความซับซ้อนของวงจรการใช้งานแอปพลิเคชัน Large Language Model (LLM) รวมถึงการพัฒนา การผลิต และการปรับใช้ พื้นที่เก็บข้อมูลประกอบด้วยโฟลเดอร์และไฟล์เป็นส่วนประกอบของโปรเจ็กต์ เช่น เอเจนต์, API, เชน, แชทบอท, GROQ (ภาษาคิวรี), โมเดล Hugging Face, ObjectBox (ฐานข้อมูลแบบฝัง), โมเดล OpenAI และการสร้างการดึงข้อมูล (RAG) ) ) รุ่น โครงการนี้มีจุดมุ่งหมายเพื่อมอบโซลูชันที่ครอบคลุมสำหรับการทำงานร่วมกับ LLM ครอบคลุมการจัดการข้อมูล การพัฒนาแชทบอต และการผสานรวมกับเครื่องมือและเฟรมเวิร์กต่างๆ

โครงการแลงเชน

---

การสร้าง Chatbot โดยใช้ LLM แบบชำระเงินและโอเพ่นซอร์สด้วย Langchain และ Ollama

ภาพรวมโครงการ

โปรเจ็กต์นี้สาธิตการสร้างแชทบอทโดยใช้โมเดลภาษาขนาดใหญ่ (LLM) ทั้งแบบชำระเงินและแบบโอเพ่นซอร์สผ่าน Langchain และ Ollama โดยครอบคลุมวงจรการใช้งานทั้งหมดของแอปพลิเคชัน LLM รวมถึงการพัฒนา การผลิต และการปรับใช้

ความปลอดภัยของข้อมูล:

ใช่. API ทั้งหมดเป็นความลับ โดยมีการจำกัดการเข้าถึงของผู้ใช้ และ .gitignore ที่ไม่ระบุตัวตน และการรักษาความปลอดภัยอีกชั้นหนึ่งผ่านสภาพแวดล้อมลับ Github (ขออภัย! คุณจะต้องใช้ของคุณเอง!)

ส่วนประกอบโครงการขั้นต่ำ

• ตัวแทน
• API / FastAPI
• โซ่
• แชทบอท
• GROQ (ภาษาแบบสอบถาม)
• กอด Face22 นางแบบ
• ObjectBox (ฐานข้อมูลแบบฝัง)
• โมเดล OpenAI
• โมเดล Meta Llama2 (โอเพ่นซอร์ส)
• โมเดลการสร้างเสริมการกู้คืน (RAG)

การกำหนดค่าและการติดตั้ง

1. การกำหนดค่าสภาพแวดล้อม

conda create -p venv python==3.10 -y
venv S cripts a ctivate
pip install -r requirements.txt

2. การกำหนดค่า

กำหนดค่าคีย์ API และการตั้งค่าที่จำเป็นในไฟล์ app.py

ใช้

1. การดำเนินการแชทบอท

python app.py

2. การเข้าถึงเว็บอินเตอร์เฟส

เปิดเว็บเบราว์เซอร์แล้วไปที่ (หรือพอร์ตโปรเกรสซีฟที่กำหนดบนคอมพิวเตอร์ของคุณ) ของฉันคือ:

http://localhost:8502

---

มากำหนดค่า app.py และรันเซสชันบนโลคัลโฮสต์กันดีกว่า

• เราสร้างไฟล์โดยการเรียกใช้ฟังก์ชันหลัก 3 ฟังก์ชันที่เชื่อมโยงกันของแชทบอทฐานของเรา

• เราโหลดข้อกำหนดสำหรับโมดูลและไลบรารี:

• เรารัน app.py ของเรา

  เรากำหนดค่า app.py และรันเสร็จแล้ว
  

• มันจะส่งคืนเส้นทางและเปิดโฮสต์ในเบราว์เซอร์ทดสอบ

  Local URL: http://localhost:8502
  Network URL: http://192.168.100.30:8502

• มาตรวจสอบหน้ากัน:

• มาทบทวนโปรเจ็กต์ในกรอบการทำงานของ Langchain กัน:

• ลองดูที่โครงสร้างของผลลัพธ์ตามที่เรากำหนดไว้:

  

• เราดูรายละเอียด StrOutputParser:

  

• เราจะถามคุณเกี่ยวกับ “การให้โค้ด Python ที่แลกเปลี่ยนสองค่า” เพื่อประเมินต้นทุน โทเค็น และเวลาหน่วงเพื่อแก้ไขปัญหา:

• *proveeme de un código python que swapee 2 valores.* :

  

   # Definir los dos valores a intercambiar
  a = 5
  b = 10
  
  print ( "Valores originales:" )
  print ( "a =" , a )
  print ( "b =" , b )
  
  # Intercambiar los valores
  temp = a
  a = b
  b = temp
  
  print ( " n Valores intercambiados:" )
  print ( "a =" , a )
  print ( "b =" , b )

• ในที่สุดเราก็สร้างแบบสอบถามทั่วไป:

  “คำถาม”: “เมื่อใดควรเริ่มแปรงฟันให้ลูกสุนัข?”

  

มากำหนดค่าเวอร์ชันท้องถิ่นด้วย Ollama กัน

• เราจะโหลด Llamama โดยเฉพาะโดยการดาวน์โหลด Llama2 ลงในคอมพิวเตอร์ของเราเพื่อเรียกใช้จากสภาพแวดล้อมในพื้นที่ของฉัน

  • ฉันเปิด cmd

    ollama run llama2

  • เราดาวน์โหลด llama2

  

  

  • เราจะดูคำถาม 2 ข้อสุดท้ายเดียวกันเพื่อประเมินระดับการตอบสนอง ความสอดคล้อง และความสอดคล้องกับ Llama2 เทียบกับระดับที่สร้างด้วย gpt3.5 turbo
  • เราดูการตอบสนองในเบราว์เซอร์ทดสอบ:

  

  • มาตรวจสอบ Langsmith บน Langchain เพื่อตรวจสอบการติดตามคิวรี เวลาแฝง โทเค็นไนซ์ และกระบวนการทั้งหมด

  

  • “ขอรหัส Python ให้ฉันเพื่อสลับตัวเลข 2 ตัว”

  

  • วิธีที่เราเห็นเวลาของกระบวนการและการสร้างการตอบสนอง
  • มันสูงกว่ามากและการแปลงโทเค็นก็พุ่งสูงขึ้นอย่างรวดเร็วเป็น 388 โทเค็น
  • ขนาดและความยาวของคำตอบนั้นเกิดจากคำถาม แต่มีมากกว่านั้นอีกมาก และระดับของข้อมูลและความสมบูรณ์ก็สูงเช่นกัน ซึ่งหมายความว่าโมเดล OpenAI ฉันพยายามตอบสนองด้วยความกระชับและแม่นยำ โดยไม่ต้องลงรายละเอียดเชิงความหมายในขณะที่โมเดลทำงาน
  • ลามะ 2 ใช้คำพูดหรือรายละเอียดมากกว่ามากและมีผลกระทบที่เกี่ยวข้องกับเวลาในการประมวลผลในเครื่องซึ่งขึ้นอยู่กับคอมพิวเตอร์ที่โมเดลกำลังทำงานอยู่ และความฉลาดที่อยู่เบื้องหลังการตอบสนองที่สร้างโดยตัวโมเดลเอง

---

ลักษณะทั่วไปของโครงการ

• บูรณาการกับโมเดล OpenAI GPT
• การสนับสนุน LLM ท้องถิ่นโดยใช้ Ollama (Llama2)
• เว็บอินเตอร์เฟสเพื่อการโต้ตอบที่ง่ายดาย
• การเปรียบเทียบประสิทธิภาพระหว่าง LLM บนระบบคลาวด์และในองค์กร

การเปรียบเทียบประสิทธิภาพ

โครงการนี้รวมการเปรียบเทียบระหว่าง GPT-3.5-turbo ของ OpenAI และรุ่น Llama2 ที่รันในเครื่อง:

• เวลาตอบสนอง (แฝง)
• การใช้โทเค็น
• คุณภาพและความสม่ำเสมอของคำตอบ

การติดตามและการวิเคราะห์

เราใช้ Langsmith บน Langchain เพื่อติดตาม:

• เค้าโครงแบบสอบถาม
• เวลาแฝง
• การใช้โทเค็น
• การไหลของกระบวนการทั่วไป

ผลงาน

การมีส่วนร่วมเพื่อปรับปรุงแชทบอทหรือขยายขีดความสามารถนั้นยินดีต้อนรับเสมอ กรุณาส่งคำขอดึงหรือปัญหาที่เปิดอยู่สำหรับการปรับปรุงใด ๆ

#### อยากเรียนมั้ย? ส่ง DM มาให้ฉันสิ!

ใบอนุญาต

โครงการนี้เป็นโอเพ่นซอร์สและพร้อมใช้งานภายใต้ใบอนุญาต MIT