farfalle

farfalle

Motor de búsqueda de código abierto impulsado por IA. (Clon de perplejidad)

Ejecute LLM locales ( llama3 , gemma , mistral , phi3 ), LLM personalizados a través de LiteLLM o utilice modelos en la nube ( Groq/Llama3 , OpenAI/gpt4-o )

farfalle-busqueda-experta.mp4

No dude en ponerse en contacto conmigo en Twitter o crear un problema si tiene alguna pregunta.

Demostración en vivo

farfalle.dev (solo modelos en la nube)

Descripción general

• Pila de tecnología
• ??‍♂️ Empezando
• Desplegar

?️ Hoja de ruta

• Agregue soporte para LLM locales a través de Ollama
• Configuración de implementación de Docker
• Agregue soporte para buscarxng. Elimina la necesidad de dependencias externas.
• Crear una imagen Docker prediseñada
• Agregue soporte para LLM personalizados a través de LiteLLM
• Historial de chat
• Búsqueda de expertos
• Chatear con archivos locales

Pila de tecnología

• Interfaz: Next.js
• Servidor: FastAPI
• API de búsqueda: SearXNG, Tavily, Serper, Bing
• Registro: Logfire
• Limitación de velocidad: Redis
• Componentes: shadcn/ui

Características

• Busque con múltiples proveedores de búsqueda (Tavily, Searxng, Serper, Bing)
• Responda preguntas con modelos en la nube (OpenAI/gpt4-o, OpenAI/gpt3.5-turbo, Groq/Llama3)
• Responder preguntas con modelos locales (llama3, mistral, gemma, phi3)
• Responda preguntas con cualquier LLM personalizado a través de LiteLLM
• Busque con un agente que planifique y ejecute la búsqueda para obtener mejores resultados

??‍♂️ Comenzando localmente

Requisitos previos

• Estibador
• Ollama (si ejecuta modelos locales)
  • Descargue cualquiera de los modelos compatibles: llama3 , mistral , gemma , phi3
  • Iniciar servidor de ollama ollama serve

Obtener claves API

• Tavily (opcional)
• Serper (opcional)
• OpenAI (opcional)
• Bing (opcional)
• Groq (opcional)

Inicio rápido:

 git clone https://github.com/rashadphz/farfalle.git
cd farfalle && cp .env-template .env

Modifique .env con sus claves API (opcional, no es necesario si usa Ollama)

Inicie la aplicación:

 docker-compose -f docker-compose.dev.yaml up -d

Espere a que se inicie la aplicación y luego visite http://localhost:3000.

Para obtener instrucciones de configuración personalizadas, consulte custom-setup-instructions.md

Desplegar

backend

Una vez implementado el backend, copie la URL del servicio web en su portapapeles. Debería verse así: https://some-service-name.onrender.com.

Interfaz

Utilice la URL de backend copiada en la variable de entorno NEXT_PUBLIC_API_URL al implementar con Vercel.

¡Y ya está! ?

Utilice Farfalle como motor de búsqueda

Para utilizar Farfalle como motor de búsqueda predeterminado, siga estos pasos:

1. Visita la configuración de tu navegador
2. Ir a 'Motores de búsqueda'
3. Cree una nueva entrada en el motor de búsqueda utilizando esta URL: http://localhost:3000/?q=%s.
4. Añade el motor de búsqueda.