fastagent

agen cepat

fastagent: alat yang memudahkan pengiriman agen Anda ke produksi

Dokumentasi

---

Peringatan

FastAgent saat ini sedang dalam pengembangan aktif dan dalam tahap alfa. Saat ini tidak memiliki fitur keamanan SSL dan CORS, serta pengujian komprehensif yang diperlukan untuk penerapan produksi.

Instalasi

Anda dapat menginstal proyek menggunakan pip: (Segera tersedia di PyPI)

pip install git+https://github.com/bastienpo/fastagent.git

Cara menggunakan proyek ini

Pertama, buat aplikasi LangChain sederhana.

Mari kita buat file app.py dengan runnable langchain paling sederhana yang bisa Anda buat, yang hanya terdiri dari model bahasa berukuran besar.

 # pip install -qU langchain-mistralai and requires MISTRAL_API_KEY in to be set
from langchain_mistralai import ChatMistralAI

chain = ChatMistralAI ( model = "ministral-3b-latest" )

Kemudian, Anda perlu menginisialisasi file konfigurasi fastagent (fastagent.toml) menggunakan perintah berikut:

fastagent init

Anda perlu memperbarui bidang aplikasi di bagian proyek agar sesuai dengan jalur aplikasi Anda dalam bentuk:

<module_path>:<module_attribute> dalam hal ini adalah myapplication.app:chain

Jika Anda memutuskan untuk menggunakan database dalam konfigurasi Anda, Anda dapat menggunakan perintah setup untuk membuat tabel dan mengatur database.

fastagent setup

Saat Anda siap untuk mengembangkan atau mengirimkan, Anda dapat memulai server produksi:

fastagent dev # fastagent run

Perbedaan antara perintah dev dan run adalah dev akan memuat ulang server jika ada perubahan kode dan masuk ke konsol, sedangkan run akan membuat image buruh pelabuhan dan melayani aplikasi.

Fitur

Ini adalah peta jalan proyek saat ini:

• Proyek ini memungkinkan untuk menyiapkan server sederhana untuk agen Anda. Ini hanya mendukung langchain dan postgresql untuk menyimpan percakapan dan data otentikasi Anda.
• Hal ini memungkinkan untuk mengatur otentikasi dan otorisasi berbasis token sederhana.
• Anda dapat mengonfigurasi CORS middleware, Otorisasi, dan Pembatasan tarif yang berbeda.

Apa selanjutnya?

Catatan

Proyek ini masih dalam pengembangan aktif dan desain dapat berubah. Saya melakukannya hanya sebagai proyek pribadi karena saya penasaran bagaimana cara mengirimkan agen ke produksi. Jangan ragu untuk berkontribusi atau memberikan masukan. Saya sangat terbuka untuk saran apa pun.

Dalam waktu dekat:

• Tambahkan pengujian proyek end-to-end untuk langchain dan langgraph.
• Tambahkan sistem izin.
• Tambahkan autentikasi tanpa kewarganegaraan.
• Tambahkan dukungan untuk lebih banyak database (khususnya SQLite).

Jangka panjang:

• Menyederhanakan integrasi alat pemantauan dan observasi (Langfuse, Phoenix)
• Tambahkan dukungan untuk Dspy dan kerangka kerja lainnya.

Sumber daya

Beberapa sumber daya tentang dependensi yang digunakan untuk proyek dan terima kasih kepada pengelola proyek atas pekerjaan mereka.

• API Cepat
• Granian
• Langservasi

Proyek ini terinspirasi oleh LitServe.