fastagent

패스트 에이전트

fastagent: 에이전트를 프로덕션 환경으로 쉽게 배송할 수 있게 해주는 도구

선적 서류 비치

---

경고

FastAgent는 현재 활발히 개발 중이며 알파 단계에 있습니다. 현재 SSL 및 CORS 보안 기능은 물론 프로덕션 배포에 필요한 포괄적인 테스트도 부족합니다.

설치

pip를 사용하여 프로젝트를 설치할 수 있습니다. (PyPI에서 곧 사용 가능)

pip install git+https://github.com/bastienpo/fastagent.git

프로젝트 사용 방법

먼저 간단한 LangChain 애플리케이션을 만듭니다.

대규모 언어 모델만으로 구성되어, 만들 수 있는 가장 간단한 langchain 실행 가능 파일을 사용하여 app.py 파일을 만들어 보겠습니다.

 # pip install -qU langchain-mistralai and requires MISTRAL_API_KEY in to be set
from langchain_mistralai import ChatMistralAI

chain = ChatMistralAI ( model = "ministral-3b-latest" )

그런 다음 다음 명령을 사용하여 fastagent 구성 파일(fastagent.toml)을 초기화해야 합니다.

fastagent init

다음 형식의 애플리케이션 경로와 일치하도록 프로젝트 섹션의 앱 필드를 업데이트해야 합니다.

<module_path>:<module_attribute> 귀하의 경우 myapplication.app:chain 이 됩니다.

구성에 데이터베이스를 사용하기로 결정한 경우 setup 명령을 사용하여 테이블을 생성하고 데이터베이스를 설정할 수 있습니다.

fastagent setup

개발하거나 출시할 준비가 되면 프로덕션 서버를 시작할 수 있습니다.

fastagent dev # fastagent run

dev 와 run 명령의 차이점은 dev 코드 변경 시 서버를 다시 로드하고 콘솔에 기록하는 반면, run docker 이미지를 빌드하고 애플리케이션을 제공한다는 것입니다.

특징

프로젝트의 현재 로드맵은 다음과 같습니다.

• 이 프로젝트를 통해 에이전트를 위한 간단한 서버를 설정할 수 있습니다. 대화 및 인증 데이터를 저장하기 위해 langchain 및 postgresql만 지원합니다.
• 간단한 토큰 기반 인증 및 권한 부여를 설정할 수 있습니다.
• 다양한 미들웨어 CORS, 권한 부여 및 속도 제한을 구성할 수 있습니다.

다음은 무엇입니까?

메모

이 프로젝트는 아직 활발하게 개발 중이며 디자인은 변경될 수 있습니다. 에이전트를 프로덕션까지 어떻게 배송할지 궁금해서 개인 프로젝트로만 하고 있어요. 자유롭게 기여하거나 피드백을 주세요. 나는 어떤 제안이라도 받아들일 준비가 되어 있습니다.

가까운 미래:

• langchain 및 langgraph에 대한 프로젝트의 엔드투엔드 테스트를 추가합니다.
• 권한 시스템을 추가합니다.
• 상태 비저장 인증을 추가합니다.
• 더 많은 데이터베이스(특히 SQLite)에 대한 지원을 추가합니다.

장기:

• 모니터링 및 관찰 도구 통합 단순화(Langfuse, Phoenix)
• Dspy 및 기타 프레임워크에 대한 지원을 추가합니다.

자원

프로젝트에 사용된 종속성에 대한 일부 리소스와 작업을 수행한 프로젝트 관리자에게 감사드립니다.

• FastAPI
• 그라니안
• 랭서브

이 프로젝트는 LitServe에서 영감을 받았습니다.