gpt3 poc tutorial with braindump

สมองดัมพ์

อัปเดต (พฤศจิกายน 2023): เวอร์ชัน GPT-3.5-Turbo ใหม่ที่ต้องการ ฉันได้เพิ่มเวอร์ชันใหม่ที่รองรับ Chat Completion API (ทดสอบด้วย GPT-3.5-Turbo) โฟลเดอร์ย่อยที่เหมาะสม ( gpt-3 , gpt-35-turbo ) มีเวอร์ชันดั้งเดิมและเวอร์ชันใหม่แล้ว นอกเหนือจากการเปลี่ยนแปลงโมเดลและการปรับที่สอดคล้องกันแล้ว การเปลี่ยนแปลงเหล่านี้ยังคงเหมือนเดิม แต่ควรใช้ gpt-35-turbo เนื่องจากเลิกใช้งาน GPT-3 แล้ว

Braindump เป็นแอปพลิเคชันต้นแบบสำหรับการจดบันทึกและแปลงเป็นฐานข้อมูลที่สามารถสืบค้นได้ง่ายขึ้น เพียงพิมพ์สิ่งที่อยู่ในใจของคุณ จากนั้นแอปพลิเคชันจะจัดประเภท แบ่งส่วน และจัดเก็บอย่างเหมาะสมเพื่อใช้ในภายหลัง สร้างขึ้นเป็นการสาธิตเพื่อแสดงวิธีใช้ประโยชน์จาก GPT-3 เพื่อสร้างแอปพลิเคชันที่เริ่มต้นด้วย Proofs-of-Concept ตามที่อธิบายไว้ในบทช่วยสอน Data Science @ Microsoft ของฉัน "การสร้างแอปพลิเคชัน GPT-3 — เกินกว่าที่แจ้ง" คุณสามารถใช้ทั้งเพื่อติดตามบทช่วยสอนและเป็นจุดเริ่มต้นสำหรับการศึกษาและการใช้งานของคุณเอง (เช่น โดยการใช้ฟังก์ชันยูทิลิตี้และโครงสร้างโปรแกรมโดยรวมในปัญหาของคุณเองที่แตกต่างออกไป)

เป็นแอปพลิเคชั่น Python ธรรมดาที่ใช้ประโยชน์จาก Streamlit เพื่อจัดทำเว็บอินเตอร์เฟส หากต้องการเรียกโมเดล GPT-3 จริงๆ คุณต้องมีคีย์ OpenAI API ที่ใช้งานได้ ในขณะที่เขียน เมื่อคุณสร้างบัญชีของคุณ คุณจะได้รับเครดิตฟรีซึ่งควรจะเพียงพอที่จะปฏิบัติตามบทช่วยสอนและเริ่มต้นใช้งานแอปพลิเคชัน แอปพลิเคชันควรทำงานร่วมกับบริการ Azure OpenAI แทนข้อเสนอ OpenAI ดั้งเดิม แม้ว่าฉันยังไม่ได้ทดสอบที่นั่นก็ตาม

นอกจากตัวแอปพลิเคชันแล้ว พื้นที่เก็บข้อมูลนี้ยังรวมถึงการศึกษาต่างๆ ในรูปแบบของสมุดบันทึก Jupyter ที่นำไปสู่สิ่งนี้ด้วย

UI สำหรับการค้นหามีลักษณะดังนี้:

ในการเพิ่มข้อเท็จจริง UI จะเป็นดังนี้ รวมถึงการตรวจสอบการตีความแบบจำลองด้วยตนเองซึ่งเป็นทางเลือก:

เรียกใช้แอปพลิเคชันหรือการศึกษา

แอปพลิเคชันได้รับการทดสอบบน Python 3.8 (GPT-3) และ 3.10 (GPT-3.5-Turbo) ไลบรารีหลักที่คุณต้องการคือ: openai , streamlit , pandas , notebook , pytest คุณสามารถติดตั้งได้ด้วยตนเอง หรือทำตามขั้นตอนด้านล่างเพื่อสร้างสภาพแวดล้อมใหม่และติดตั้งโดยอัตโนมัติ โปรดทราบว่าสำหรับโค้ดเบสรุ่นเก่า คุณจะต้องมีไลบรารี openai เวอร์ชันเก่า

ในการรันแอปพลิเคชัน:

1. ขอแนะนำให้คุณรัน Python 3.10+ จากการกระจาย Anaconda ซึ่งสามารถรับได้ที่นี่
2. เพื่อให้แน่ใจว่าการติดตั้งการขึ้นต่อกันถูกต้อง ก่อนอื่นคุณสามารถสร้างสภาพแวดล้อมใหม่สำหรับแอปพลิเคชันนี้โดยใช้ conda create -n braindump_py310 python=3.10
3. เปิดใช้งานสภาพแวดล้อมใหม่โดยใช้ conda activate braindump_py310
4. สำหรับ GPT-3.5-Turbo (แนะนำ) ให้ติดตั้งการอ้างอิงที่แสดงอยู่ใน requirements.txt คุณสามารถทำได้โดยการรัน pip install -r requirements.txt จากรูทของโปรเจ็กต์ สำหรับ GPT-3 เวอร์ชันดั้งเดิม (เลิกใช้งานแล้ว) ให้ใช้ requirements.gpt3.txt แทน เพื่อรับการอ้างอิงเก่าที่จำเป็นสำหรับการดำเนินการ
5. ตรวจสอบว่าคุณต้องมีคีย์ OpenAI API ที่ใช้งานได้ และกำหนดให้พร้อมใช้งานเป็นตัวแปรสภาพแวดล้อมที่เรียกว่า OPENAI_API_KEY
6. สุดท้าย ให้เปิดแอปพลิเคชันจากรากของโครงการ บน Windows: run.gpt3.bat (เวอร์ชัน GPT-3) หรือ run.gpt35turbo.bat (เวอร์ชัน GPT-3.5-Turbo) บน Linux: run.gpt3.sh (เวอร์ชัน GPT-3) หรือ run.gpt35turbo.sh (เวอร์ชัน GPT-3.5-Turbo)

หากต้องการดำเนินการศึกษา:

1. ทำตามขั้นตอนข้างต้น ยกเว้นขั้นตอนสุดท้าย
2. เปิดสมุดบันทึก Jupyter ที่ต้องการใต้ notebooks/ ด้วยไคลเอนต์ Jupyter ที่คุณชื่นชอบ (โดยส่วนตัวฉันใช้ VS Code บ่อยมาก)

โครงสร้างโครงการ

โครงการมีโครงสร้างดังนี้:

• notebooks/ : โน๊ตบุ๊ค Jupyter ใช้สำหรับวิศวกรรมที่รวดเร็ว
• src/ : ซอร์สโค้ดสำหรับแอปพลิเคชันขั้นสุดท้าย
  • src/gpt-3 : แหล่งที่มาสำหรับเวอร์ชัน GPT-3 ดั้งเดิม (เลิกใช้แล้ว)
  • src/gpt-3.5-turbo : แหล่งที่มาสำหรับเวอร์ชัน GPT-3.5-Turbo ( แนะนำ ตั้งแต่เดือนพฤศจิกายน 2023)
• data/ : ข้อมูลที่จัดเก็บโดยแอปพลิเคชัน
• tests/ : การทดสอบหน่วยสำหรับแอปพลิเคชัน
  • tests/gpt-3/ : การทดสอบสำหรับเวอร์ชัน GPT-3 ดั้งเดิม (เลิกใช้แล้ว)
  • tests/gpt-3.5-turbo/ : การทดสอบสำหรับเวอร์ชัน GPT-3.5-Turbo ( แนะนำ ตั้งแต่เดือนพฤศจิกายน 2023)
• docs/ : เอกสารและทรัพย์สินที่เกี่ยวข้อง

เข้าใกล้

วิธีการนี้นำเสนอโดยละเอียดในบทช่วยสอน Data Science @ Microsoft ของฉัน "การสร้างแอปพลิเคชัน GPT-3 — นอกเหนือการแจ้งเตือน" อย่างไรก็ตาม ผมขอเน้นประเด็นสำคัญบางประการที่นี่:

• โมเดลภาษาขนาดใหญ่ โดยเฉพาะ GPT-3, GPT-3.5-Turbo และ GPT-4 นำเสนอวิธีที่ง่ายและยืดหยุ่นมากในการสร้างซอฟต์แวร์บางประเภท อย่างไรก็ตาม จำเป็นต้องมีแง่มุมวิศวกรรมซอฟต์แวร์เพิ่มเติมจำนวนมากเพื่อสร้างแอปพลิเคชันที่แข็งแกร่งและใช้งานได้จริง
• Proofs-of-Concept (PoC) เหมาะอย่างยิ่งในการสำรวจความสามารถของเทคโนโลยีใหม่ๆ และแสดงให้เห็นถึงคุณค่าอย่างรวดเร็วและด้วยต้นทุนที่ต่ำ ดังนั้นจึงเป็นช่องทางในการรักษาความปลอดภัยให้กับผู้ลงทุนเพิ่มเติมหากจำเป็น เนื่องจากการประยุกต์ใช้ LLM เช่น GPT-3 ยังคงเป็นพื้นที่ใหม่ PoC จึงเป็นวิธีที่ยอดเยี่ยมในการสำรวจพื้นที่และเรียนรู้
• กระบวนการที่ค่อยเป็นค่อยไปและทำซ้ำเป็นวิธีที่ดีที่สุดในการสร้าง PoC และแอปพลิเคชันดังกล่าว เริ่มต้นด้วยกรณีการใช้งานที่เรียบง่ายและเพิ่มคุณสมบัติและความซับซ้อนไปพร้อมกัน
• ด้วยวิธีนี้ คุณสามารถบรรลุผลลัพธ์ที่น่าประทับใจได้โดยใช้ความพยายามเพียงเล็กน้อย สิ่งที่อาจมีราคาแพงเกินไปหรือทำไม่ได้ก่อนหน้านี้ก็เป็นไปได้แล้ว จึงเป็นหนทางที่ดีในการปรับปรุงประสิทธิภาพการทำงาน ทั้งสำหรับบุคคลและองค์กร ถึงเวลาสำรวจและทดลองกับโปรเจ็กต์ที่ไม่เคยคิดมาก่อน!

ในแง่ระยะเฉพาะ แนะนำให้ทำดังต่อไปนี้

• ลองใช้ OpenAI Playground กับกรณีง่ายๆ เพื่อดูว่าแนวคิดนี้มีประโยชน์มากกว่าหรือไม่
• เมื่อคุณตัดสินใจที่จะดำเนินการต่อ ให้เขียนข้อกำหนดง่ายๆ ซึ่งประกอบด้วยโครงสร้างข้อมูลพื้นฐานที่คุณจะจัดการและตัวอย่างอินพุตและเอาต์พุตบางส่วน
• แบ่งปัญหาออกเป็นปัญหาย่อย และพิจารณาว่าปัญหาใดที่สามารถจัดการได้โดย GPT-3 หรือรุ่นที่คล้ายกัน
• ค่อยๆ ออกแบบคำสั่งของคุณซ้ำๆ โดยควรใช้สมุดบันทึก Jupyter
• เมื่อพอใจกับคุณภาพของการแจ้งเตือนแล้ว ให้ห่อหุ้มและกลไกเสริมในเครื่องยนต์
• สร้าง UI สำหรับเครื่องยนต์ของคุณ โดยควรใช้บางอย่างเช่น Streamlit หรือ Gradio ซึ่งทั้งสองอย่างนี้ให้ผลลัพธ์ที่ดีอย่างรวดเร็ว
• แสดง PoC แก่ผู้มีส่วนได้ส่วนเสียและทำซ้ำตามความเหมาะสม

ใบอนุญาต

ใบอนุญาตเอ็มไอที

ลิขสิทธิ์ (c) 2023 เปาโล ซาเลม ดา ซิลวา

อนุญาตให้บุคคลใดก็ตามที่ได้รับสำเนาของซอฟต์แวร์นี้และไฟล์เอกสารที่เกี่ยวข้อง ("ซอฟต์แวร์") อนุญาตโดยไม่เสียค่าใช้จ่าย เพื่อจัดการกับซอฟต์แวร์โดยไม่มีข้อจำกัด รวมถึงแต่ไม่จำกัดเพียงสิทธิ์ในการใช้ คัดลอก ปรับเปลี่ยน ผสาน เผยแพร่ แจกจ่าย ให้อนุญาตช่วง และ/หรือขายสำเนาของซอฟต์แวร์ และอนุญาตให้บุคคลที่ได้รับซอฟต์แวร์นี้สามารถทำได้ ภายใต้เงื่อนไขต่อไปนี้:

ประกาศเกี่ยวกับลิขสิทธิ์ข้างต้นและประกาศการอนุญาตนี้จะรวมอยู่ในสำเนาทั้งหมดหรือส่วนสำคัญของซอฟต์แวร์

ซอฟต์แวร์นี้มีให้ "ตามที่เป็น" โดยไม่มีการรับประกันใดๆ ทั้งโดยชัดแจ้งหรือโดยนัย ซึ่งรวมถึงแต่ไม่จำกัดเพียงการรับประกันความสามารถในการค้าขาย ความเหมาะสมสำหรับวัตถุประสงค์เฉพาะ และการไม่ละเมิด ไม่ว่าในกรณีใดผู้เขียนหรือผู้ถือลิขสิทธิ์จะต้องรับผิดต่อการเรียกร้องค่าเสียหายหรือความรับผิดอื่นใดไม่ว่าในการกระทำของสัญญาการละเมิดหรืออย่างอื่นที่เกิดขึ้นจากหรือเกี่ยวข้องกับซอฟต์แวร์หรือการใช้งานหรือข้อตกลงอื่น ๆ ใน ซอฟต์แวร์.