Copilot AI แบบโอเพ่นซอร์สสำหรับการสร้าง Data Pipeline ที่ง่ายดาย
คุณสมบัติที่สำคัญ
- อินเทอร์เฟซสไตล์โน้ตบุ๊กพร้อมความสามารถในการแชทใน UI เว็บ : ทำงานบนไปป์ไลน์ข้อมูลของคุณในอินเทอร์เฟซโน้ตบุ๊ก Jupyter ที่คุ้นเคย ในขณะที่ AI copilot ช่วยเหลือและแนะนำคุณโดยการสร้าง ดำเนินการ และดีบักโค้ดวิศวกรรมข้อมูลตลอดกระบวนการ
- ไม่มีการล็อคอินจากผู้จำหน่าย : สร้างไปป์ไลน์ข้อมูลของคุณด้วยสแต็กข้อมูลที่คุณเลือก และเลือก LLM ที่คุณต้องการสำหรับผู้ร่วมนักบินโดยมีความยืดหยุ่นเต็มที่
- ปรับแต่งได้อย่างเต็มที่ : แบ่งไปป์ไลน์ของคุณออกเป็นองค์ประกอบต่างๆ เช่น การเคลื่อนย้ายข้อมูล การเปลี่ยนแปลง และอื่นๆ อีกมากมาย และปรับแต่งแต่ละองค์ประกอบตามความต้องการเฉพาะของคุณ การประกบเข้าด้วยกันจะประกอบส่วนประกอบเหล่านี้ให้เป็นไปป์ไลน์ข้อมูลที่สมบูรณ์และใช้งานได้อย่างราบรื่น
- ปลอดภัยและจัดการได้ : Host Splicing บนโครงสร้างพื้นฐานของคุณเอง พร้อมการควบคุมข้อมูลและ LLM ของคุณอย่างสมบูรณ์ ข้อมูลและรหัสลับของคุณจะไม่ถูกแชร์กับผู้ให้บริการ LLM ตลอดเวลา
เริ่มต้นอย่างรวดเร็ว
วิธีที่ง่ายที่สุดในการรัน Splicing คือใน Docker:
ติดตั้งนักเทียบท่า
รันคำสั่งต่อไปนี้เพื่อรัน Splicing:
docker run -v $( pwd ) /.splicing:/app/.splicing
-p 3000:3000
-p 8000:8000
-it --rm splicingai/splicing:latest
ตามค่าเริ่มต้น ข้อมูลแอปพลิเคชันทั้งหมดจะถูกจัดเก็บไว้ในโฟลเดอร์ ./.splicing
ภายในไดเร็กทอรีปัจจุบันที่คุณเรียกใช้คำสั่งข้างต้น หากคุณต้องการคงข้อมูลไว้ ตรวจสอบให้แน่ใจว่าได้สำรองโฟลเดอร์นี้แล้ว
- ไปที่ http://localhost:3000/ เพื่อเข้าถึง UI ของเว็บ
คุณยังสามารถติดตั้ง Splicing โดยไม่ต้องใช้ Docker เพื่อการพัฒนาโดยทำตามคำแนะนำในคู่มือ CONTRIBUTING
แผนการทำงาน
- การปรับใช้ไปป์ไลน์ข้อมูล : รองรับการปรับใช้ไปป์ไลน์ข้อมูลกับสภาพแวดล้อมการผลิตของคุณด้วยประสบการณ์แบบพุชเพื่อปรับใช้
- ส่วนประกอบไปป์ไลน์ข้อมูลเพิ่มเติม : รองรับส่วนประกอบที่จำเป็นมากขึ้นในไปป์ไลน์ข้อมูล เช่น การตรวจสอบคุณภาพข้อมูลและสายข้อมูล
- การบูรณาการเพิ่มเติม :
- รองรับการรวมข้อมูลที่หลากหลายในไปป์ไลน์ข้อมูล (เช่น แหล่งข้อมูลและคลังสินค้าต่างๆ)
- รองรับ LLM มากขึ้นในฐานะผู้ช่วยนักบิน (เช่น Claude และรุ่นท้องถิ่น)
- ปรับปรุงโครงสร้างซอร์สโค้ด ทำให้ชุมชนเพิ่มการบูรณาการได้ง่ายขึ้น
- Copilot ที่ชาญฉลาดยิ่งขึ้น : เพิ่มประสิทธิภาพ Copilot ด้วยความสามารถที่มากขึ้น เช่น การสร้างแบบจำลองความหมายและไดอะแกรม ER สำหรับข้อมูลในคลังสินค้าโดยอัตโนมัติ ทำให้สร้างไปป์ไลน์ข้อมูลได้ง่ายขึ้น
ทรัพยากร
กองเทคโนโลยี
- ส่วนหน้า: Next.js, Tailwind CSS และ Shadcn
- แบ็กเอนด์: FastAPI และ Redis
- กรอบงานตัวแทน: LangGraph
มีส่วนร่วม
โปรดดูที่ CONTRIBUTING.md สำหรับรายละเอียดเพิ่มเติม
คำถามที่พบบ่อย
กรณีการใช้งานหลักสำหรับการประกบคืออะไร?
การประกบช่วยในการสร้างไปป์ไลน์ข้อมูล รวมถึงงานต่างๆ เช่น การนำเข้าข้อมูล การแปลง และการจัดประสาน เพื่อเตรียมข้อมูลของคุณสำหรับกระบวนการดาวน์สตรีม เช่น การวิเคราะห์ข้อมูลและการเรียนรู้ของเครื่อง
Splicing เหมาะกับใคร?
Splicing ได้รับการออกแบบมาสำหรับวิศวกรข้อมูล นักวิทยาศาสตร์ข้อมูล และทุกคนที่ต้องการสร้างไปป์ไลน์ข้อมูล แม้ว่าคุณจะมีประสบการณ์ด้านวิศวกรรมข้อมูลที่จำกัด AI Copilot ของ Splicing จะแนะนำคุณทีละขั้นตอน และคุณสามารถขอความช่วยเหลือได้ตลอดเวลาโดยใช้ภาษาที่เป็นธรรมชาติ
Splicing แตกต่างจากเครื่องมือสร้างโค้ดและ Copilots AI อื่นๆ อย่างไร
การประกบได้รับการออกแบบมาโดยเฉพาะสำหรับวิศวกรรมข้อมูล ซึ่งเป็นสาขาที่มีตัวเลือกที่ซับซ้อนมากมายที่ยังไม่ได้นำ AI กำเนิดมาใช้อย่างเต็มที่เพื่อประสิทธิภาพการทำงาน ต่างจากเครื่องมือทั่วไป Splicing มุ่งเน้นไปที่การปรับโมเดลภาษาให้เหมาะสมสำหรับขั้นตอนคงที่ซึ่งพบได้ทั่วไปในไปป์ไลน์ข้อมูล นอกจากนี้ยังผสานรวมกับแหล่งข้อมูลและเครื่องมืออย่างลึกซึ้ง ช่วยให้ Copilot เข้าใจบริบทของโปรเจ็กต์ของคุณ ไม่ว่าจะเป็นการกำหนดค่า ข้อมูล และอื่นๆ อีกมากมาย ซึ่งนำไปสู่การสร้างโค้ดที่แม่นยำและมีประโยชน์มากขึ้นเมื่อเปรียบเทียบกับ Copilot สำหรับการใช้งานทั่วไป
Splicing มีความปลอดภัยแค่ไหน? ข้อมูลของฉันจะถูกแชร์หรือไม่?
Splicing เป็นโอเพ่นซอร์สและสามารถโฮสต์บนโครงสร้างพื้นฐานของคุณเองได้ ข้อมูลและรหัสลับของคุณจะไม่ถูกแชร์กับเราหรือผู้ให้บริการ LLM ใดๆ ตามการออกแบบ นอกจากนี้ Splicing Copilot จะไม่รันโค้ดที่สร้างขึ้นโดยอัตโนมัติ คุณเป็นผู้ควบคุมเวลาและวิธีรันโค้ด
ฉันสามารถรันไปป์ไลน์ข้อมูลที่สร้างด้วย Splicing ที่อื่นได้หรือไม่
ใช่! Splicing สร้างโค้ดโดยใช้การผสานรวมข้อมูลและเครื่องมือที่คุณต้องการ คุณสามารถส่งออกโค้ดได้ด้วยคลิกเดียวแล้วเรียกใช้หรือปรับใช้ได้ทุกที่ที่คุณต้องการ ไม่มีการล็อคอินผู้ขาย