farfalle

Farfalle

Mecanismo de pesquisa de código aberto com tecnologia de IA. (Clone da Perplexidade)

Execute LLMs locais ( llama3 , gemma , mistral , phi3 ), LLMs personalizados por meio do LiteLLM ou use modelos de nuvem ( Groq/Llama3 , OpenAI/gpt4-o )

farfalle-expert-search.mp4

Fique à vontade para entrar em contato comigo no Twitter ou criar um problema se tiver alguma dúvida.

Demonstração ao vivo

farfalle.dev (somente modelos em nuvem)

Visão geral

• Pilha de tecnologia
• ??‍♂️ Primeiros passos
• Implantar

?️ Roteiro

• Adicione suporte para LLMs locais por meio do Ollama
• Configuração de implantação do Docker
• Adicione suporte para searchxng. Elimina a necessidade de dependências externas.
• Crie uma imagem Docker pré-construída
• Adicione suporte para LLMs personalizados por meio do LiteLLM
• Histórico de bate-papo
• Pesquisa especializada
• Converse com arquivos locais

Pilha de tecnologia

• Front-end: Next.js
• Back-end: FastAPI
• API de pesquisa: SearXNG, Tavily, Serper, Bing
• Registro: Logfire
• Limitação de taxa: Redis
• Componentes: shadcn/ui

Características

• Pesquise com vários provedores de pesquisa (Tavily, Searxng, Serper, Bing)
• Responda perguntas com modelos de nuvem (OpenAI/gpt4-o, OpenAI/gpt3.5-turbo, Groq/Llama3)
• Responda perguntas com modelos locais (llama3, mistral, gemma, phi3)
• Responda perguntas com qualquer LLM personalizado por meio do LiteLLM
• Pesquise com um agente que planeja e executa a busca por melhores resultados

??‍♂️ Primeiros passos localmente

Pré-requisitos

• Docker
• Ollama (se estiver executando modelos locais)
  • Baixe qualquer um dos modelos suportados: llama3 , mistral , gemma , phi3
  • Inicie o servidor ollama ollama serve

Obtenha chaves de API

• Tavily (opcional)
• Serper (opcional)
• OpenAI (opcional)
• Bing (opcional)
• Groq (opcional)

Início rápido:

 git clone https://github.com/rashadphz/farfalle.git
cd farfalle && cp .env-template .env

Modifique .env com suas chaves de API (opcional, não obrigatório se estiver usando o Ollama)

Inicie o aplicativo:

 docker-compose -f docker-compose.dev.yaml up -d

Aguarde o aplicativo iniciar e visite http://localhost:3000.

Para obter instruções de configuração personalizada, consulte custom-setup-instructions.md

Implantar

Back-end

Após a implantação do back-end, copie a URL do serviço Web para a área de transferência. Deve ser algo como: https://some-service-name.onrender.com.

Front-end

Use o URL de back-end copiado na variável de ambiente NEXT_PUBLIC_API_URL ao implantar com Vercel.

E pronto! ?

Use Farfalle como mecanismo de pesquisa

Para usar o Farfalle como seu mecanismo de pesquisa padrão, siga estas etapas:

1. Visite as configurações do seu navegador
2. Vá para 'Mecanismos de pesquisa'
3. Crie uma nova entrada no mecanismo de pesquisa usando este URL: http://localhost:3000/?q=%s.
4. Adicione o mecanismo de pesquisa.