farfalle

Farfalle

Mesin pencari bertenaga AI sumber terbuka. (Klon Kebingungan)

Jalankan LLM lokal ( llama3 , gemma , mistral , phi3 ), LLM khusus melalui LiteLLM , atau gunakan model cloud ( Groq/Llama3 , OpenAI/gpt4-o )

farfalle-expert-search.mp4

Jangan ragu untuk menghubungi saya di Twitter atau membuat masalah jika Anda memiliki pertanyaan.

Demo Langsung

farfalle.dev (khusus model Cloud)

Ringkasan

• Tumpukan Teknologi
• ??‍♂️ Memulai
• Menyebarkan

?️ Peta Jalan

• Tambahkan dukungan untuk LLM lokal melalui Ollama
• Pengaturan penerapan Docker
• Tambahkan dukungan untuk pencarianxng. Menghilangkan kebutuhan akan ketergantungan eksternal.
• Buat Gambar Docker yang sudah dibuat sebelumnya
• Tambahkan dukungan untuk LLM khusus melalui LiteLLM
• Riwayat Obrolan
• Pencarian Ahli
• Ngobrol dengan file lokal

Tumpukan Teknologi

• Bagian depan: Next.js
• Bagian Belakang: FastAPI
• API Pencarian: SearXNG, Tavily, Serper, Bing
• Penebangan: Logfire
• Pembatasan Tarif: Redis
• Komponen: shadcn/ui

Fitur

• Cari dengan beberapa penyedia pencarian (Tavily, Searxng, Serper, Bing)
• Jawab pertanyaan dengan model cloud (OpenAI/gpt4-o, OpenAI/gpt3.5-turbo, Groq/Llama3)
• Jawab pertanyaan dengan model lokal (llama3, mistral, gemma, phi3)
• Jawab pertanyaan dengan LLM khusus apa pun melalui LiteLLM
• Telusuri dengan agen yang merencanakan dan melaksanakan penelusuran untuk hasil yang lebih baik

??‍♂️ Memulai Secara Lokal

Prasyarat

• Buruh pelabuhan
• Ollama (Jika menjalankan model lokal)
  • Unduh salah satu model yang didukung: llama3 , mistral , gemma , phi3
  • Mulai server ollama ollama serve

Dapatkan Kunci API

• Tavily (Opsional)
• Server (Opsional)
• OpenAI (Opsional)
• Bing (Opsional)
• Groq (Opsional)

Mulai Cepat:

 git clone https://github.com/rashadphz/farfalle.git
cd farfalle && cp .env-template .env

Ubah .env dengan kunci API Anda (Opsional, tidak diperlukan jika menggunakan Ollama)

Mulai aplikasi:

 docker-compose -f docker-compose.dev.yaml up -d

Tunggu hingga aplikasi dimulai lalu kunjungi http://localhost:3000.

Untuk petunjuk pengaturan khusus, lihat custom-setup-instructions.md

Menyebarkan

Bagian belakang

Setelah backend disebarkan, salin URL layanan web ke clipboard Anda. Seharusnya terlihat seperti ini: https://some-service-name.onrender.com.

Bagian depan

Gunakan URL backend yang disalin di variabel lingkungan NEXT_PUBLIC_API_URL saat menerapkan dengan Vercel.

Dan Anda sudah selesai! ?

Gunakan Farfalle sebagai Mesin Pencari

Untuk menggunakan Farfalle sebagai mesin pencari default Anda, ikuti langkah-langkah berikut:

1. Kunjungi pengaturan browser Anda
2. Buka 'Mesin Pencari'
3. Buat entri mesin pencari baru menggunakan URL ini: http://localhost:3000/?q=%s.
4. Tambahkan mesin pencari.