danGPT

ダンGPT

https://dangpt.vercel.app/ で試してみてください。

このプロジェクトでは、AI サービスを構成し、生成 AI を使用して RAG (検索拡張生成) を実装する方法を紹介します。

仕組みの内訳は次のとおりです。

1. このリポジトリの範囲外で、私たちは膨大な量のデータをスクレイピングしました。この場合は、ダンの投稿です。
2. 次に、テキスト内の意味を多次元数値空間にマッピングする機械学習モデルを使用して、検索したいすべてのテキストをベクトル (数値のリスト) に変換します。 「埋め込みモデル」を使用してベクトル空間にテキストを「埋め込み」ます。この場合、OpenAI のtext-embedding-3-small 。
3. 次に、それらのベクトルをベクトル データベースに保存します。ここで私たちが選んだ武器は、DataStax の AstraDB です。

次に、ユーザーがクエリを送信すると、次のことが行われます。

1. 同じ埋め込みモデルを使用してクエリをベクトルに変換します。
2. ベクトル データベースで、クエリ ベクトルに最も類似したベクトル、または次元空間内でクエリ ベクトルに「近い」ベクトルを検索します。
3. 最も類似したベクトルから多くの元のテキストを取得します。
4. これらの元のテキストを取得し、コンテキストとして生成 AI モデルに入力します。この場合、OpenAI のgpt-3.5-turbo 。 ChatGPT の無料枠の背後にある同じモデル。
5. 次に、生成 AI モデルは、ダンのふりをして、与えられたコンテキストに基づいて応答を生成します。

これは単なるサイドプロジェクトのデモであり、間違っている可能性が高いことに注意してください。それは何よりも教育のためです。