fastagent

ตัวแทนด่วน

fastagent: เครื่องมือที่ทำให้การขนส่งตัวแทนของคุณไปสู่การผลิตเป็นเรื่องง่าย

เอกสารประกอบ

---

คำเตือน

ขณะนี้ FastAgent อยู่ระหว่าง การพัฒนา และอยู่ในขั้นอัลฟ่า ขณะนี้ขาดคุณสมบัติด้านความปลอดภัย SSL และ CORS รวมถึงการทดสอบที่ครอบคลุมที่จำเป็นสำหรับการใช้งานจริง

การติดตั้ง

คุณสามารถติดตั้งโครงการโดยใช้ pip: (พร้อมใช้งานบน PyPI เร็ว ๆ นี้)

pip install git+https://github.com/bastienpo/fastagent.git

วิธีการใช้งานโครงการ

ขั้นแรก สร้างแอปพลิเคชัน LangChain แบบง่ายๆ

มาสร้างไฟล์ app.py ด้วย langchain ที่รันได้ง่ายที่สุดที่คุณสามารถทำได้ ประกอบด้วยโมเดลภาษาขนาดใหญ่

 # pip install -qU langchain-mistralai and requires MISTRAL_API_KEY in to be set
from langchain_mistralai import ChatMistralAI

chain = ChatMistralAI ( model = "ministral-3b-latest" )

จากนั้น คุณต้องเตรียมใช้งานไฟล์คอนฟิกูเรชัน fastagent (fastagent.toml) โดยใช้คำสั่งต่อไปนี้:

fastagent init

คุณจะต้องอัปเดตฟิลด์แอปในส่วนโครงการให้ตรงกับเส้นทางแอปพลิเคชันของคุณในรูปแบบ:

<module_path>:<module_attribute> ในกรณีของคุณมันจะเป็น myapplication.app:chain

หากคุณตัดสินใจใช้ฐานข้อมูลในการกำหนดค่าของคุณ คุณสามารถใช้คำสั่ง setup เพื่อสร้างตารางและตั้งค่าฐานข้อมูลได้

fastagent setup

เมื่อคุณพร้อมที่จะพัฒนาหรือจัดส่ง คุณสามารถเริ่มต้นเซิร์ฟเวอร์ที่ใช้งานจริงได้:

fastagent dev # fastagent run

ข้อแตกต่างระหว่างคำสั่ง dev และ run คือ dev จะรีโหลดเซิร์ฟเวอร์เมื่อมีการเปลี่ยนแปลงโค้ดและเข้าสู่คอนโซล ในขณะที่ run จะสร้างอิมเมจนักเทียบท่าและให้บริการแอปพลิเคชัน

คุณสมบัติ

นี่คือแผนงานปัจจุบันสำหรับโครงการ:

• โปรเจ็กต์อนุญาตให้ตั้งค่าเซิร์ฟเวอร์อย่างง่ายสำหรับตัวแทนของคุณ รองรับเฉพาะ langchain และ postgresql เพื่อจัดเก็บการสนทนาและข้อมูลการตรวจสอบสิทธิ์ของคุณ
• อนุญาตให้ตั้งค่าการรับรองความถูกต้องและการอนุญาตตามโทเค็นอย่างง่าย
• คุณสามารถกำหนดค่า CORS มิดเดิลแวร์ต่างๆ การอนุญาต และการจำกัดอัตราได้

อะไรต่อไป?

บันทึก

โครงการนี้ยังอยู่ระหว่างการพัฒนาและการออกแบบอาจมีการเปลี่ยนแปลง ฉันทำมันแค่เป็นโปรเจ็กต์ส่วนตัวเท่านั้นเพราะฉันอยากรู้ว่าจะส่งตัวแทนไปผลิตได้อย่างไร รู้สึกอิสระที่จะมีส่วนร่วมหรือให้ข้อเสนอแนะ ฉันเปิดกว้างสำหรับข้อเสนอแนะใด ๆ

อนาคตอันใกล้:

• เพิ่มการทดสอบแบบ end-to-end ของโปรเจ็กต์สำหรับ langchain และ langgraph
• เพิ่มระบบการอนุญาต
• เพิ่มการตรวจสอบสิทธิ์แบบไร้สัญชาติ
• เพิ่มการรองรับฐานข้อมูลเพิ่มเติม (โดยเฉพาะ SQLite)

ระยะยาว:

• ลดความซับซ้อนในการรวมเครื่องมือตรวจสอบและสังเกตการณ์ (Langfuse, Phoenix)
• เพิ่มการรองรับ Dspy และเฟรมเวิร์กอื่น ๆ

ทรัพยากร

แหล่งข้อมูลบางอย่างเกี่ยวกับการขึ้นต่อกันที่ใช้สำหรับโปรเจ็กต์และขอบคุณผู้ดูแลโปรเจ็กต์สำหรับงานของพวกเขา

• FastAPI
• กราเนียน
• แลงเสิร์ฟ

โครงการนี้ได้รับแรงบันดาลใจจาก LitServe