next gen rag

次世代検索拡張世代 (RAG)

導入

これは、次世代の検索拡張生成 (RAG) テクノロジーの進歩に特化した共同ハブです。このリポジトリは、RAG の進化する状況の動的な探索に焦点を当てており、AI 主導の情報検索と生成の未来を形作る最先端の進歩を発見、開発、共有することを目的としています。

目標

このリポジトリは、AI 主導の情報検索と生成の未来を形作る最先端の進歩を発見、開発、共有することを目的として、RAG の進化する状況の動的な探索に乗り出します。

目標

このリポジトリの主な目的は次のとおりです。

• 革新と探索: 新しい概念、方法論、アーキテクチャを探索することで、現在の RAG テクノロジーの限界を押し広げること。
• 共同研究: RAG の分野を前進させるために協力する研究者、開発者、愛好家のコミュニティを育成します。
• 知識の共有: RAG とそのアプリケーションに関する最先端の開発、概念の進歩、洞察力に富んだ議論のための包括的なリソースとして機能します。
• 現実世界への影響: 理論的な進歩を、情報検索とテキスト生成における現実世界の課題に対処する実践的なソリューションに変換します。

興味のあるトピック

このリポジトリは、RAG および関連領域の領域内の幅広いトピックに焦点を当てています。以下を含みますが、これらに限定されません。

• セマンティックルーティング
• 知識の統合
• 高度なクエリ処理
• ランキング
  • 大規模な言語モデルを使用した効果的かつ効率的なテキストのランキング戦略
  • Direct Preference Optimization を使用した LLM リランカーのトレーニング
  • 途中で迷った: 言語モデルが長いコンテキストをどのように使用するか
    1. フラッシュランク
    2. ロングコンテキストレトリーバー
• 安全：
  • (todo: 探索スレッドを追加)ComPromptMized: GenAI を利用したアプリケーションをターゲットとするゼロクリック ワームを解き放つ

リポジトリ構造

• ノートブック/ : 研究、実験、デモンストレーションを含む Jupyter ノートブック。各ノートブックには説明と説明が含まれています。
• docs/ : 概念、技術、調査結果に関する追加のドキュメント。
• data/ : 実験に使用されるサンプル データセット (todo: データセットを追加)。
• scripts/ : ユーティリティ スクリプトとコード スニペット (todo: スクリプトの追加)。

進行中

• クラス最高の ReRanker?クリスピーミックスブレッドの再ランキングモデルで検索を強化しましょう

• マトリョーシカ埋め込みモデル

• [qdrant / fastembed] (https://github.com/qdrant/fastembed)

やり残し

• CohereForAI/c4ai-command-r-v01 (Cohere の 350 億パラメータ モデル)

ロードマップ

• 人間のフィードバックを使用した LLM リランカー
• セキュリティ: Gen-AI ゼロクリック ワーム
• Less is More: 特に関数呼び出しデータセットの準備のコンテキスト https://arxiv.org/abs/2305.11206