gpt memory

? GPTメモリ

LocalFilesystemMemory は、Llama Index の GPTSimpleVectorIndex 上のレイヤーであり、ディスクに保存されたインデックスの管理の詳細を抽象化します。インデックスを保存するためのディレクトリ構造を想定し、インデックスを管理するためのシンプルなインターフェイスを提供します。

ローカルファイルシステムメモリ

1. 永続メモリを保存するフォルダーを使用してメモリをインスタンス化します。
2. インデックスを作成して名前を付けます。提供した書類の概要が自動的に生成されます。
3. 準備ができたら、メモリにクエリを実行できます。クエリは 2 つのステップで実行されます。 (a) クエリが以前に生成された概要とどのように一致するかに基づいて、名前付きインデックスのどれがメモリにロードしてクエリするのに適切かを判断します。 (b) 次に、最も関連性の高いインデックスに対してそのクエリを実行します。

このリポジトリにあるいくつかの Wikipedia ファイルを使用した例:

 from llama_index import SimpleDirectoryReader
from gpt_memory import LocalFilesystemMemory
phil = SimpleDirectoryReader ( "gpt_memory/examples/phil" )
animals = SimpleDirectoryReader ( "gpt_memory/examples/animals" )
phil_docs = phil . load_data ()
animal_docs = animals . load_data ()

memory = LocalFilesystemMemory ( "example" )
memory . create_index ( "phil" , phil_docs )
memory . create_index ( "animals" , animal_docs )
query = "What is a capybara?"
print ( memory . query ( query ))

戻り値: A capybara is a giant cavy rodent native to South America, which is the largest living rodent and a member of the genus Hydrochoerus. It inhabits savannas and dense forests, lives near bodies of water, and is a highly social species that can be found in groups as large as 100 individuals. The capybara is hunted for its meat and hide and also for grease from its thick fatty skin, but it is not considered a threatened species.

メソッド

• memory.query(prompt) : 質問するためのメインのエントリポイント。
• memory.create_index(name, docs, description=None) : インデックスを作成する主な方法。 Docs は、文字列、文字列のリスト、または GPTIndex の Document オブジェクトのリストにすることができます。
• memory.update_index(name, docs) : 新しいドキュメントでインデックスを更新します。
• memory.delete_index(name) : インデックスを削除します。

これらの関数は内部で以下を使用します。

• memory.get_index(name)
• memory.query_index(name, prompt)
• memory.find_most_relevant_index(prompt)

ボンネットの下で

内部のディレクトリ構造は次のとおりです。

 - index_folder/
    -  metadata.json
    -  indexes/
        -  index_1.json
        -  index_2.json
        -  ...

metadata.json ファイルには次の情報が含まれています。

 {
    "index_count": 2,
    "index_descriptions": [
        {
            "name": "index_1",
            "description": "Description of index generated by GPT Index.",
        },
        {
            "name": "index_2",
            "description": "Description of index generated by GPT Index.",
        },
    ]
}