farfalle

法法勒

开源人工智能驱动的搜索引擎。 （困惑克隆）

运行本地 LLM（ llama3 、 gemma 、 milstra 、 phi3 ）、通过LiteLLM自定义 LLM 或使用云模型（ Groq/Llama3 、 OpenAI/gpt4-o ）

Farfalle-专家-搜索.mp4

如果您有任何疑问，请随时在 Twitter 上与我联系或创建问题。

现场演示

farfalle.dev（仅限云模型）

概述

• 技术堆栈
• ??‍♂️ 开始使用
• 部署

?️ 路线图

• 通过 Ollama 添加对本地法学硕士的支持
• Docker 部署设置
• 添加对 searchxng 的支持。消除了对外部依赖的需要。
• 创建预构建的 Docker 镜像
• 通过 LiteLLM 添加对自定义 LLM 的支持
• 聊天记录
• 专家搜寻
• 与本地文件聊天

技术堆栈

• 前端：Next.js
• 后端：FastAPI
• 搜索 API：SearXNG、Tavily、Serper、Bing
• 日志记录：Logfire
• 速率限制：Redis
• 组件：shadcn/ui

特征

• 使用多个搜索提供商（Tavily、Searxng、Serper、Bing）进行搜索
• 使用云模型回答问题（OpenAI/gpt4-o、OpenAI/gpt3.5-turbo、Groq/Llama3）
• 使用本地模型回答问题（llama3、mistral、gemma、phi3）
• 通过 LiteLLM 回答任何定制法学硕士的问题
• 通过计划和执行搜索的代理进行搜索以获得更好的结果

??‍♂️ 本地入门

先决条件

• 码头工人
• Ollama（如果运行本地模型）
  • 下载任何受支持的模型： llama3 、 milstra 、 gemma 、 phi3
  • 启动 ollama 服务器ollama serve

获取 API 密钥

• 塔维利（可选）
• 蛇（可选）
• OpenAI（可选）
• 必应（可选）
• 格罗克（可选）

快速入门：

 git clone https://github.com/rashadphz/farfalle.git
cd farfalle && cp .env-template .env

使用您的 API 密钥修改 .env（可选，如果使用 Ollama，则不需要）

启动应用程序：

 docker-compose -f docker-compose.dev.yaml up -d

等待应用程序启动，然后访问 http://localhost:3000。

有关自定义设置说明，请参阅 custom-setup-instructions.md

部署

后端

部署后端后，将 Web 服务 URL 复制到剪贴板。它应该类似于：https://some-service-name.onrender.com。

前端

使用 Vercel 进行部署时，请在NEXT_PUBLIC_API_URL环境变量中使用复制的后端 URL。

你就完成了！ ？

使用 Farfalle 作为搜索引擎

要将 Farfalle 用作默认搜索引擎，请按照下列步骤操作：

1. 访问您的浏览器设置
2. 转到“搜索引擎”
3. 使用以下 URL 创建新的搜索引擎条目：http://localhost:3000/?q=%s。
4. 添加搜索引擎。