microllama

마이크로라마

가능한 가장 작은 LLM API입니다. 몇 분 안에 자신의 콘텐츠에 대한 질문과 답변 인터페이스를 구축하세요. Langchain을 통해 OpenAI 임베딩, gpt-3.5 및 Faiss를 사용합니다.

용법

1. 소스 문서를 source.json 이라는 단일 JSON 파일로 결합합니다. 다음과 같아야 합니다.

[
    {
        "source" : " Reference to the source of your content. Typically a title. " ,
        "url" : " URL for your source. This key is optional. " ,
        "content" : " Your content as a single string. If there's a title or summary, put these first, separated by new lines. "
    }, 
    ...
]

예제는 example.source.json 참조하세요.

2. 가상 환경에 MicroLlama를 설치합니다.

pip install microllama

3. OpenAI API 키를 가져와 환경에 추가합니다(예: export OPENAI_API_KEY=sk-etc . 인덱싱 및 쿼리에는 무료가 아닌 OpenAI 크레딧이 필요합니다.

4. microllama 로 서버를 실행하세요. 벡터 검색 인덱스가 없으면 source.json 에서 생성되어 저장됩니다.

5. /api/ask?질문에서 문서를 쿼리하세요.

6. Microllama에는 microllama make-front-end 로 생성되는 선택적 웹 프런트 엔드가 포함되어 있습니다. 이 명령은 편집할 수 있는 단일 index.html 파일을 생성합니다. /에서 제공됩니다.

구성

Microllama는 환경 변수를 통해 구성되며 기본값은 다음과 같습니다.

• OPENAI_API_KEY : 필수
• FAISS_INDEX_PATH : "faiss_index"
• SOURCE_JSON : "source.json"
• MAX_RELATED_DOCUMENTS : "5"
• EXTRA_CONTEXT : "답변은 3문장 이하로 하세요. 문맥에 답변이 포함되어 있지 않으면 '죄송합니다. 내 소스에는 이에 대한 답변이 없습니다.'라고 말하세요."
• UVICORN_HOST : "0.0.0.0"
• UVICORN_PORT : "8080"

API 배포

microllama make-dockerfile 사용하여 Dockerfile을 만듭니다. 그 다음에:

Fly.io에서

Fly.io 계정에 가입하고 flyctl을 설치하세요. 그 다음에:

fly launch # answer no to Postgres, Redis and deploying now 
fly secrets set OPENAI_API_KEY=sk-etc 
fly deploy

구글 클라우드 런에서

gcloud run deploy --source . --set-env-vars= " OPENAI_API_KEY=sk-etc "

Cloud Run 및 기타 서버리스 플랫폼의 경우 시작 시간을 줄이기 위해 컨테이너 빌드 시 FAISS 색인을 생성해야 합니다. Dockerfile 에서 주석 처리된 두 줄을 참조하세요.

microllama deploy 사용하여 이러한 명령을 생성할 수도 있습니다.

기반

• 랭체인
• Simon Willison의 블로그 게시물, Datasette-openai 및 Datasette-faiss.
• FastAPI
• GPT 지수
• Dagster 블로그 게시물

TODO

• 더 의미 있는 조각을 생성하는 분할을 사용하세요. 예: text_splitter = SpacyTextSplitter(chunk_size=700, chunk_overlap=200, separator=" ")