farfalle

ファルファッレ

オープンソースの AI を活用した検索エンジン。 (パープレキシティ クローン)

ローカル LLM ( llama3 、 gemma 、 mistral 、 phi3 )、 LiteLLM経由のカスタム LLM を実行するか、クラウド モデル ( Groq/Llama3 、 OpenAI/gpt4-o ) を使用します。

ファルファッレ-エキスパート検索.mp4

ご質問がございましたら、お気軽に Twitter で私にご連絡いただくか、問題を作成してください。

ライブデモ

farfalle.dev (クラウドモデルのみ)

概要

• 技術スタック
• ??‍♂️ はじめに
• 展開する

⁉️ ロードマップ

• Ollama を通じてローカル LLM のサポートを追加
• Docker デプロイメントのセットアップ
• searchxng のサポートを追加します。外部依存関係が不要になります。
• 事前に構築された Docker イメージを作成する
• LiteLLM によるカスタム LLM のサポートの追加
• チャット履歴
• エキスパート検索
• ローカルファイルとチャットする

技術スタック

• フロントエンド: Next.js
• バックエンド: FastAPI
• 検索 API: SearXNG、Tavily、Serper、Bing
• ロギング: Logfire
• レート制限: Redis
• コンポーネント: shadcn/ui

特徴

• 複数の検索プロバイダー (Tavily、Searxng、Serper、Bing) で検索します。
• クラウド モデルで質問に答える (OpenAI/gpt4-o、OpenAI/gpt3.5-turbo、Groq/Llama3)
• ローカル モデル (llama3、mistral、gemma、phi3) で質問に答える
• LiteLLM を通じてカスタム LLM に関する質問に回答します
• より良い結果を得るために、検索を計画および実行するエージェントと検索します。

??‍♂️ ローカルで始める

前提条件

• ドッカー
• Ollama (ローカル モデルを実行している場合)
  • サポートされているモデルのいずれかをダウンロードします: llama3 、 mistral 、 gemma 、 phi3
  • オラマサーバーを起動するollama serve

APIキーを取得する

• タヴィリー (オプション)
• サーバー (オプション)
• OpenAI (オプション)
• Bing (オプション)
• Groq (オプション)

クイックスタート:

 git clone https://github.com/rashadphz/farfalle.git
cd farfalle && cp .env-template .env

API キーを使用して .env を変更します (オプション、Ollama を使用する場合は必須ではありません)

アプリを起動します。

 docker-compose -f docker-compose.dev.yaml up -d

アプリが起動するのを待ってから、http://localhost:3000 にアクセスします。

カスタム セットアップ手順については、custom-setup-instructions.md を参照してください。

展開する

バックエンド

バックエンドがデプロイされたら、Web サービス URL をクリップボードにコピーします。 https://some-service-name.onrender.com のようになります。

フロントエンド

Vercel を使用してデプロイする場合は、コピーしたバックエンド URL をNEXT_PUBLIC_API_URL環境変数で使用します。

これで完了です。 ?

Farfalle を検索エンジンとして使用する

Farfalle をデフォルトの検索エンジンとして使用するには、次の手順に従います。

1. ブラウザの設定にアクセスしてください
2. 「検索エンジン」に移動します
3. 次の URL を使用して、新しい検索エンジン エントリを作成します: http://localhost:3000/?q=%s。
4. 検索エンジンを追加します。