farfalle

Farfalle

Open-Source-Suchmaschine mit künstlicher Intelligenz. (Perplexity-Klon)

Führen Sie lokale LLMs ( llama3 , gemma , mistral , phi3 ), benutzerdefinierte LLMs über LiteLLM aus oder verwenden Sie Cloud-Modelle ( Groq/Llama3 , OpenAI/gpt4-o ).

farfalle-expert-search.mp4

Bitte zögern Sie nicht, mich auf Twitter zu kontaktieren oder ein Problem zu erstellen, wenn Sie Fragen haben.

Live-Demo

farfalle.dev (nur Cloud-Modelle)

Überblick

• Tech-Stack
• ??‍♂️ Erste Schritte
• Einsetzen

?️ Roadmap

• Fügen Sie Unterstützung für lokale LLMs über Ollama hinzu
• Einrichtung der Docker-Bereitstellung
• Unterstützung für Searxng hinzufügen. Eliminiert die Notwendigkeit externer Abhängigkeiten.
• Erstellen Sie ein vorgefertigtes Docker-Image
• Fügen Sie Unterstützung für benutzerdefinierte LLMs über LiteLLM hinzu
• Chat-Verlauf
• Expertensuche
• Chatten Sie mit lokalen Dateien

Tech-Stack

• Frontend: Next.js
• Backend: FastAPI
• Such-API: SearXNG, Tavily, Serper, Bing
• Protokollierung: Holzfeuer
• Ratenbegrenzung: Redis
• Komponenten: shadcn/ui

Merkmale

• Suche mit mehreren Suchanbietern (Tavily, Searxng, Serper, Bing)
• Beantworten Sie Fragen mit Cloud-Modellen (OpenAI/gpt4-o, OpenAI/gpt3.5-turbo, Groq/Llama3)
• Beantworten Sie Fragen mit lokalen Modellen (llama3, mistral, gemma, phi3)
• Beantworten Sie Fragen mit beliebigen benutzerdefinierten LLMs über LiteLLM
• Suchen Sie mit einem Agenten, der die Suche plant und durchführt, um bessere Ergebnisse zu erzielen

??‍♂️ Erste Schritte vor Ort

Voraussetzungen

• Docker
• Ollama (Wenn lokale Modelle ausgeführt werden)
  • Laden Sie eines der unterstützten Modelle herunter: llama3 , mistral , gemma , phi3
  • Ollama-Server ollama serve starten

Holen Sie sich API-Schlüssel

• Tavily (optional)
• Serper (optional)
• OpenAI (optional)
• Bing (optional)
• Groq (optional)

Schnellstart:

 git clone https://github.com/rashadphz/farfalle.git
cd farfalle && cp .env-template .env

Ändern Sie .env mit Ihren API-Schlüsseln (optional, nicht erforderlich, wenn Sie Ollama verwenden)

Starten Sie die App:

 docker-compose -f docker-compose.dev.yaml up -d

Warten Sie, bis die App gestartet ist, und besuchen Sie dann http://localhost:3000.

Anweisungen zur benutzerdefinierten Einrichtung finden Sie unter custom-setup-instructions.md

Einsetzen

Backend

Nachdem das Backend bereitgestellt wurde, kopieren Sie die Webdienst-URL in Ihre Zwischenablage. Es sollte etwa so aussehen: https://some-service-name.onrender.com.

Frontend

Verwenden Sie bei der Bereitstellung mit Vercel die kopierte Backend-URL in der Umgebungsvariablen NEXT_PUBLIC_API_URL .

Und schon sind Sie fertig! ?

Nutzen Sie Farfalle als Suchmaschine

Um Farfalle als Ihre Standardsuchmaschine zu verwenden, gehen Sie folgendermaßen vor:

1. Besuchen Sie die Einstellungen Ihres Browsers
2. Gehen Sie zu „Suchmaschinen“
3. Erstellen Sie einen neuen Suchmaschineneintrag mit dieser URL: http://localhost:3000/?q=%s.
4. Fügen Sie die Suchmaschine hinzu.