microllama

小羊駝

盡可能最小的 LLM API。在幾分鐘內為您自己的內容建立一個問答介面。透過 Langchain 使用 OpenAI 嵌入、gpt-3.5 和 Faiss。

用法

1. 將來源文檔合併到一個名為source.json的 JSON 檔案中。它應該看起來像這樣：

[
    {
        "source" : " Reference to the source of your content. Typically a title. " ,
        "url" : " URL for your source. This key is optional. " ,
        "content" : " Your content as a single string. If there's a title or summary, put these first, separated by new lines. "
    }, 
    ...
]

有關範例，請參閱example.source.json 。

2. 將 MicroLlama 安裝到虛擬環境：

pip install microllama

3. 取得 OpenAI API 金鑰並將其新增至環境中，例如export OPENAI_API_KEY=sk-etc 。請注意，索引和查詢需要 OpenAI 積分，但該積分不是免費的。

4. 使用microllama運行您的伺服器。如果向量搜尋索引不存在，它將從您的source.json建立並儲存。

5. 在 /api/ask?your question 查詢您的文件。

6. Microllama 包括一個可選的 Web 前端，它是使用microllama make-front-end產生的。此命令建立一個可以編輯的index.html檔案。供應地點為/。

配置

Microllama 透過環境變數進行配置，預設值如下：

• OPENAI_API_KEY ：必需
• FAISS_INDEX_PATH ：“faiss_index”
• SOURCE_JSON ：“源.json”
• MAX_RELATED_DOCUMENTS ：“5”
• EXTRA_CONTEXT ：“回答不超過三句話。如果答案未包含在上下文中，請說‘抱歉，我的資料來源中沒有對此的答案。’”
• UVICORN_HOST ：“0.0.0.0”
• UVICORN_PORT ：“8080”

部署您的 API

使用microllama make-dockerfile建立 Dockerfile 。然後：

飛翔吧

註冊 Fly.io 帳號並安裝 Flyctl。然後：

fly launch # answer no to Postgres, Redis and deploying now 
fly secrets set OPENAI_API_KEY=sk-etc 
fly deploy

在 Google Cloud Run 上

gcloud run deploy --source . --set-env-vars= " OPENAI_API_KEY=sk-etc "

對於 Cloud Run 和其他無伺服器平台，您應該在容器建置時產生 FAISS 索引，以減少啟動時間。請參閱Dockerfile中的兩行註解。

您也可以使用microllama deploy產生這些命令。

基於

• 朗查恩
• Simon Willison 的部落格文章 datasette-openai 和 datasette-faiss。
• 快速API
• GPT指數
• 達格斯特部落格文章

待辦事項

• 使用分割產生更有意義的片段，例如 text_splitter = SpacyTextSplitter(chunk_size=700, chunk_overlap=200, separator=" ")