trieve

サインアップ (1,000 チャンク無料) | PDF2MD |ハッカー ニュース検索エンジン |ドキュメント |メンテナーの紹介 |不和 |マトリックス

検索、レコメンデーション、RAG のオールインワン ソリューション

クイックリンク

• API リファレンス + ドキュメント
• OpenAPI仕様
• Typescript SDK
• Python SDK

特徴

• VPC またはオンプレミスでのセルフホスティング: AWS、GCP、Kubernetes 一般、および docker compose の完全なセルフホスティング ガイドが、こちらのドキュメント ページから入手できます。
• ? Semantic Dense Vector Search : OpenAI または Jina 埋め込みモデルおよび Qdrant と統合して、セマンティック ベクトル検索を提供します。
• ?タイポ耐性のあるフルテキスト/ニューラル検索: アップロードされたすべてのチャンクは、タイプミスに耐性のある高品質のニューラル スパース ベクトル検索のために naver/efficient-splade-VI-BT-large-query でベクトル化されます。
• サブセンテンスの強調表示: チャンク内の一致する単語または文を強調表示し、検索時に太字にしてユーザーの UX を向上させます。 simsearch クレートに声を上げてください。
• ?レコメンデーション: レコメンデーション API を使用して、類似したチャンク (グループ化を使用している場合はファイル) を検索します。ユーザーのお気に入り、ブックマーク、または賛成票を投じるコンテンツがあるプラットフォームがある場合に非常に役立ちます。
• ?便利な RAG API ルート: OpenRouter と統合して、RAG に必要な LLM へのアクセスを提供します。トピックベースのメモリ管理を備えたフルマネージド RAG のルートを試すか、独自のコンテキスト RAG を選択してください。
• 独自のモデルの持ち込み: 必要に応じて、独自のテキスト埋め込み、SPLADE、クロスエンコーダー再ランキング、ラージ言語モデル (LLM) を持ち込み、インフラストラクチャにプラグインすることができます。
• クロスエンコーダ再ランキングを使用したハイブリッド検索: 最良の結果を得るには、BAAI/bge-reranker-large 再ランク最適化を使用したハイブリッド検索を使用します。
• ?最新性バイアス: 検索結果が古くならないように、最新のものに簡単にバイアスをかけます。
• 調整可能なマーチャンダイジング: クリック、カートに追加、引用などのシグナルを使用して関連性を調整します。
• ?️ フィルタリング: 日付範囲、部分文字列一致、タグ、数値、およびその他のフィルタ タイプがサポートされています。
• グループ化: 複数のチャンクを同じファイルの一部としてマークし、同じトップレベルの結果が二度表示されないようにファイルレベルで検索します。

あなたのユースケースに必要な機能が欠けていませんか? - 628-222-4090 までお電話いただくか、Github で問題を作成するか、Matrix コミュニティに参加してお知らせください。私たちは小規模な会社ですが、依然として非常に実践的で、お客様が必要とするものを構築することに熱心です。専門的なサービスが利用可能です。

Linux を使用したローカル開発

Debian/Ubuntu パッケージに必要なパッケージ

sudo apt install curl 
gcc 
g++ 
make 
pkg-config 
python3 
python3-pip 
libpq-dev 
libssl-dev 
openssl

Arch パッケージが必要です

sudo pacman -S base-devel postgresql-libs

NodeJS と Yarn をインストールする

NVM のインストール スクリプトを使用して NVM をインストールできます。

 curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.5/install.sh | bash

NVM で bash プロファイルを更新するには、ターミナルを再起動する必要があります。次に、NodeJS LTS リリースと Yarn をインストールできます。

 nvm install --lts
npm install -g yarn

サーバーのtmpディレクトリを作成する

 mkdir server/tmp

錆を取り付ける

 curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

カーゴウォッチをインストールする

 cargo install cargo-watch

環境のセットアップ

 cp .env.analytics ./frontends/analytics/.env
cp .env.chat ./frontends/chat/.env
cp .env.search ./frontends/search/.env
cp .env.server ./server/.env
cp .env.dashboard ./frontends/dashboard/.env

LLM_API_KEY ./server/.envに追加します。

それを取得するためのガイドは次のとおりです。

キーを入手した後の手順

1. ./server/.envファイルを開きます
2. LLM_API_KEYの値を独自の OpenAI API キーに置き換えます。
3. OPENAI_API_KEYの値を独自の OpenAI API キーに置き換えます。

ローカル開発に必要なDockerコンテナサービスを開始します。

 cat .env.chat .env.search .env.server .env.docker-compose > .env

./convenience.sh -l

ローカル開発用のサービスを開始する

tmuxp を通じてこれを管理することをお勧めします。ここのガイドまたはターミナル タブを参照してください。

 cd clients/ts-sdk
yarn build

 cd frontends
yarn
yarn dev

 cd server
cargo watch -x run

 cd server
cargo run --bin ingestion-worker

 cd server
cargo run --bin file-worker

 cd server
cargo run --bin delete-worker

 cd search
yarn
yarn dev

動作セットアップの確認

• localhost:8090/redoc で OpenAPI リファレンスを使用して redoc が表示されることを確認します。
• アカウントを作成し、localhost:5173 でテスト データを含むデータセットを作成します。
• localhost:5174 でテスト データを含むデータセットを検索します

ローカル開発でのデバッグの問題

サポートが必要な場合は、discord でお問い合わせください。喜んでお手伝いさせていただきます。

生成された正確な SQL を取得してディーゼルをデバッグする

diesel::debug_query(&query).to_string();

ストライプ機能をテストするためのローカル設定

Stripe CLIをインストールします。

1. stripe login
2. stripe listen --forward-to localhost:8090/api/stripe/webhook
3. server/.env内のSTRIPE_WEBHOOK_SECRETを、結果として得られる Webhook 署名シークレットに設定します。
4. stripe products create --name trieve --default-price-data.unit-amount 1200 --default-price-data.currency usd
5. stripe plans create --amount=1200 --currency=usd --interval=month --product={id from response of step 3}

貢献者