SuperKnowa
SuperKnowa RAG
กรอบการทำงานที่รวดเร็วเพื่อสร้างไปป์ไลน์ Enterprise RAG (Retriever Augmented Generation) ในขนาดต่างๆ - ขับเคลื่อนโดย watsonx
ยินดีต้อนรับสู่พื้นที่เก็บข้อมูล SuperKnowa GitHub! เฟรมเวิร์ก SuperKnowa ช่วยเร่งแอปพลิเคชัน Enterprise Generative AI ของคุณเพื่อรับโซลูชันที่พร้อมใช้งานอย่างรวดเร็วกับข้อมูลส่วนตัวของคุณ ที่นี่ คุณจะได้พบกับคอลเลกชันส่วนประกอบแบบเสียบได้ที่หลากหลาย ซึ่งออกแบบมาเพื่อรับมือกับกรณีการใช้งาน Generative AI ต่างๆ โดยใช้ Large Language Models (LLM) คิดว่าส่วนประกอบเหล่านี้เป็นส่วนประกอบ เช่นเดียวกับชิ้นส่วนเลโก้ ที่คุณสามารถประกอบเพื่อจัดการกับความท้าทายที่หลากหลายในขอบเขตของการสร้างข้อความที่ขับเคลื่อนด้วย AI สิ่งเหล่านี้ได้รับการทดสอบการต่อสู้จากฐานความรู้ส่วนตัว 1 ล้านถึง 200 ล้าน และปรับขนาดเป็นโทเค็นรีทรีฟเวอร์นับพันล้าน
ไปป์ไลน์โดยรวมของเฟรมเวิร์ก SuperKnowa RAG และบล็อคการสร้างหลัก:
ส่วนประกอบที่กำหนดค่าได้สำหรับไปป์ไลน์ SuperKnowa RAG โดยใช้ไฟล์เดียว:
SuperKnowa เป็นเฟรมเวิร์กอันทรงพลังที่พัฒนาโดยใช้ watsonx (ดูวิดีโอบน watsonx.ai ที่นี่) ซึ่งควบคุมความสามารถของ Large Language Models (LLM) เพื่อนำเสนอกรณีการใช้งาน Generative AI ขั้นสูงที่หลากหลาย พื้นที่เก็บข้อมูลนี้จะแนะนำให้คุณรู้จักกับกรณีการใช้งานต่างๆ ที่ครอบคลุมโดย SuperKnowa
เรียนรู้เพิ่มเติมเกี่ยวกับ SuperKnowa ในโพสต์บล็อกเชิงลึกของเรา:
บล็อกหน้าปก - SuperKnowa: การสร้างโซลูชัน RAG สำหรับองค์กรในขนาด https://medium.com/towards-generative-ai/superknowa-simplest-framework-yet-to-swiftly-build-enterprise-rag-solutions-at-scale-ca90b49be28a
ลองใช้เฟรมเวิร์ก SuperKnowa ด้วยแอปพลิเคชันสดที่สร้างจากฐานความรู้ส่วนตัวของเอกสารที่หลากหลาย 1 ล้านฉบับ:
https://superknowa.tsglwatson.buildlab.cloud/
(กรณีไม่มี IBM ID กรุณารับที่นี่ - https://www.ibm.com/account/reg/us-en/signup?formid=urx-19776)
คุณสามารถเริ่มต้นได้โดยการอัปเดตไฟล์ config.yaml และเรียกใช้สคริปต์ LLMQnA.py เพื่อกำหนดค่าไปป์ไลน์ RAG ของคุณอย่างรวดเร็ว:
retriever:
indexName: superknowa
query: What is IBM Cloud?
....
reranker:
query: What is IBM Data and Analytics Reference Architecture?
...
LLMQnA:
question: What is IBM Data and Analytics Reference Architecture?
...
หากต้องการสำรวจฟีเจอร์และความสามารถของ SuperKnowa โปรดดูบล็อกซีรีส์ ตัวอย่างโค้ด และทรัพยากรที่มีให้ในที่เก็บนี้
สำหรับคำแนะนำโดยละเอียดและตัวอย่าง ให้ไปที่ไดเร็กทอรีของแต่ละคอมโพเนนต์ ปลดปล่อยศักยภาพของโมเดลภาษาขนาดใหญ่ในโครงการของคุณโดยใช้ส่วนประกอบเลโก้ Generative AI ของ SuperKnowa!
มาปลดล็อกศักยภาพของ Generative AI ด้วย SuperKnowa และกำหนดอนาคตของการประมวลผลความรู้ที่ขับเคลื่อนด้วย AI!
เอกสารการจัดทำดัชนี
ค้นหาแบบยืดหยุ่น
โซล
วัตสัน ดิสคัฟเวอรี่
นิวรัล รีทรีฟเวอร์
ค้นหาแบบยืดหยุ่น
โซล
รีแรงเกอร์
การเรียนรู้ในบริบทโดยใช้ LLM
การประเมิน LLM
การประเมินแบบจำลอง LLM
การบูรณาการ MLFLOW
การปรับแต่งแบบละเอียด
สั่งสอน DB
การปรับแต่ง Falcon 7B แบบละเอียดโดยใช้ QLORA
การปรับแต่ง LLAMA2 7B แบบละเอียดโดยใช้ QLORA
รุ่น RLHF
ปรับใช้และอนุมาน
แบ็กเอนด์
การปรับใช้
เครื่องมือจัดตำแหน่ง AI
กรณีการใช้งาน Enterprise LLM
วัดการจัดตำแหน่งของโมเดล AI ตามเกณฑ์ชี้วัดของความช่วยเหลือ อันตราย และความแม่นยำโดยบันทึกข้อมูลจากมนุษย์
สร้างการทดลองออนไลน์และออฟไลน์ที่หลากหลายของคุณสำหรับการประเมิน และเปรียบเทียบผลลัพธ์การจัดตำแหน่ง AI โดยใช้แดชบอร์ดแบบโต้ตอบ
Eval_Package เป็นเครื่องมือที่ออกแบบมาเพื่อประเมินประสิทธิภาพของ LLM (โมเดลภาษา) บนชุดข้อมูลที่มีคำถาม บริบท และคำตอบในอุดมคติ ช่วยให้คุณสามารถดำเนินการประเมินชุดข้อมูลต่างๆ และประเมินว่าโมเดลสร้างคำตอบบนตัววัดทางสถิติมากมาย เช่น BLUE, ROUGE ฯลฯ ได้ดีเพียงใด
MLflow_Package เป็นชุดเครื่องมือที่ครอบคลุมซึ่งออกแบบมาเพื่อผสานรวมผลลัพธ์จาก Eval_Package และติดตามและจัดการการทดลองได้อย่างมีประสิทธิภาพ นอกจากนี้ยังช่วยให้คุณสร้างกระดานผู้นำสำหรับการเปรียบเทียบการประเมินผลและแสดงภาพตัวชี้วัดผ่านแดชบอร์ด
ด้านล่างนี้คือรายการกรณีการใช้งาน Generative AI ที่สร้างขึ้นโดยใช้เฟรมเวิร์ก SuperKnowa
มีส่วนร่วมในการสนทนาด้วยภาษาธรรมชาติด้วยระบบถามและตอบ (Q&A) แบบสนทนาของ SuperKnowa ถามคำถามตามฐานความรู้ขององค์กรเอกชน และรับคำตอบโดยละเอียดตามบริบท
ใช้ประโยชน์จากฟีเจอร์ "ถามเอกสารของคุณ" ของ SuperKnowa เพื่อปลดล็อกศักยภาพของ PDF และเอกสารข้อความของคุณ SuperKnowa สามารถช่วยคุณดึงข้อมูลที่เกี่ยวข้อง ตอบคำถามเฉพาะ และช่วยเหลือในการเรียกข้อมูล
สร้างข้อมูลสรุปที่สอดคล้องกันและให้ข้อมูลได้อย่างง่ายดายด้วยคุณสมบัติการสรุปของ SuperKnowa ในคลังข้อความขนาดใหญ่โดยใช้ FlanT5 และ UL2 แยกประเด็นหลักและรายละเอียดสำคัญออกจากบทความ รายงาน และข้อความอื่นๆ เพื่อให้เข้าใจเนื้อหาได้อย่างมีประสิทธิภาพ
คุณลักษณะการสรุปเชิงนามธรรมของ SuperKnowa เป็นมากกว่าการแยกข้อมูลแบบง่ายๆ โดยใช้ FlanUL2 และ LLAMA2 สามารถวิเคราะห์เอกสาร PDF ที่มีความยาวและสร้างบทสรุปเชิงนามธรรมที่กระชับ โดยรวบรวมสาระสำคัญของเนื้อหา นอกจากนี้ SuperKnowa ยังระบุประเด็นสำคัญ ทำให้ง่ายต่อการเข้าใจและสื่อสารข้อมูลที่ซับซ้อน
สัมผัสพลังของความสามารถ Text-to-SQL ของ SuperKnowa ซึ่งแปลงการสืบค้นภาษาธรรมชาติให้เป็นการสืบค้น SQL ที่มีโครงสร้าง โต้ตอบกับฐานข้อมูลโดยใช้ภาษาธรรมดา ขจัดความจำเป็นในการใช้ความเชี่ยวชาญใน SQL
สร้างและออกแบบโดย
ช่างก่อสร้าง
เฟรมเวิร์กนี้ได้รับการพัฒนาโดย Build Lab, IBM Ecosystem โปรดทราบว่าเนื้อหานี้จัดทำขึ้นเพื่อส่งเสริมการนำเทคโนโลยี AI แบบฝังตัวมาใช้ และให้บริการพันธมิตรในระบบนิเวศ เนื้อหาอาจรวมถึงระบบและวิธีการที่อยู่ระหว่างการพิจารณาสิทธิบัตรกับ USPTO และได้รับการคุ้มครองภายใต้กฎหมายสิทธิบัตรของสหรัฐอเมริกา SuperKnowa ไม่ใช่ผลิตภัณฑ์ แต่เป็นเฟรมเวิร์กที่สร้างขึ้นบน IBM watsonx พร้อมกับผลิตภัณฑ์อื่นๆ เช่น โมเดล LLAMA จาก Meta & ML Flow จาก Databricks การใช้ SuperKnowa โดยปริยายจำเป็นต้องยอมรับข้อกำหนดและเงื่อนไขของผลิตภัณฑ์เหล่านั้น เฟรมเวิร์กนี้จัดทำขึ้นตามสภาพที่เป็นอยู่เพื่อเร่งการพัฒนาแอปพลิเคชัน GenAI ระดับองค์กร ในกรณีที่มีคำถามใดๆ โปรดติดต่อ [email protected]
ลิขสิทธิ์ @ 2023 ไอบีเอ็ม คอร์ปอเรชั่น
