farfalle

Фарфалле

Поисковая система с открытым исходным кодом на базе искусственного интеллекта. (Клон недоумения)

Запускайте локальные LLM ( llama3 , gemma , mistral , phi3 ), пользовательские LLM через LiteLLM или используйте облачные модели ( Groq/Llama3 , OpenAI/gpt4-o ).

Farfalle-эксперт-поиск.mp4

Пожалуйста, не стесняйтесь обращаться ко мне в Твиттере или создавать проблему, если у вас есть какие-либо вопросы.

Живая демо-версия

Farfalle.dev (только облачные модели)

Обзор

• Технический стек
• ??‍♂️ Начало работы
• Развертывать

?️ Дорожная карта

• Добавьте поддержку местных LLM через Ollama.
• Настройка развертывания Docker
• Добавить поддержку searchxng. Устраняет необходимость во внешних зависимостях.
• Создайте готовый образ Docker.
• Добавьте поддержку пользовательских LLM через LiteLLM.
• История чата
• Экспертный поиск
• Общайтесь с локальными файлами

Технический стек

• Фронтенд: Next.js
• Бэкэнд: FastAPI
• API поиска: SearXNG, Tavily, Serper, Bing
• Ведение журнала: Logfire
• Ограничение скорости: Redis
• Компоненты: shadcn/ui

Функции

• Поиск с помощью нескольких поисковых поставщиков (Tavily, Searxng, Serper, Bing)
• Отвечайте на вопросы с помощью облачных моделей (OpenAI/gpt4-o, OpenAI/gpt3.5-turbo, Groq/Llama3)
• Отвечайте на вопросы с помощью местных моделей (лама3, мистраль, гемма, фи3)
• Отвечайте на вопросы с помощью любых пользовательских LLM через LiteLLM
• Поиск с агентом, который планирует и выполняет поиск для достижения лучших результатов.

??‍♂️ Начало работы локально

Предварительные условия

• Докер
• Оллама (при использовании локальных моделей)
  • Загрузите любую из поддерживаемых моделей: llama3 , mistral , gemma , phi3.
  • Запустить сервер ollama serve

Получить ключи API

• Тавили (необязательно)
• Серпер (необязательно)
• OpenAI (необязательно)
• Бинг (необязательно)
• Грок (необязательно)

Быстрый старт:

 git clone https://github.com/rashadphz/farfalle.git
cd farfalle && cp .env-template .env

Измените .env с помощью своих ключей API (необязательно, не требуется при использовании Ollama).

Запустите приложение:

 docker-compose -f docker-compose.dev.yaml up -d

Подождите, пока приложение запустится, затем посетите http://localhost:3000.

Инструкции по индивидуальной настройке см. на сайте custom-setup-instructions.md.

Развертывать

Бэкэнд

После развертывания серверной части скопируйте URL-адрес веб-службы в буфер обмена. Это должно выглядеть примерно так: https://some-service-name.onrender.com.

Внешний интерфейс

Используйте скопированный URL-адрес серверной части в переменной среды NEXT_PUBLIC_API_URL при развертывании с помощью Vercel.

И все готово! ?

Используйте Farfalle в качестве поисковой системы

Чтобы использовать Farfalle в качестве поисковой системы по умолчанию, выполните следующие действия:

1. Посетите настройки вашего браузера
2. Зайдите в «Поисковые системы»
3. Создайте новую запись поисковой системы, используя этот URL-адрес: http://localhost:3000/?q=%s.
4. Добавьте поисковую систему.