split markdown4gptダウンロード - split markdown4gptソースコードのダウンロード

split markdown4gpt

その他のソースコード

1.0.0

ダウンロード

split_markdown4gpt

split_markdown4gptは、指定されたトークン制限に基づいて大きな Markdown ファイルを小さなセクションに分割するように設計された Python ツールです。これは、モデルが管理可能なチャンクでデータを処理できるため、GPT モデルで大きな Markdown ファイルを処理する場合に特に便利です。

バージョン 1.0.9 (2023-06-19)

インストール

pip 経由でsplit_markdown4gptインストールできます。

pip install split_markdown4gpt

CLIの使用法

インストール後、 mdsplit4gptコマンドを使用して Markdown ファイルを分割できます。基本的な構文は次のとおりです。

mdsplit4gpt path_to_your_file.md --model gpt-3.5-turbo --limit 4096 --separator " === SPLIT === "

このコマンドは、 path_to_your_file.mdにある Markdown ファイルをセクションに分割します。各セクションには 4096 個以下のトークンが含まれます ( gpt-3.5-turboモデルでカウント)。セクションは=== SPLIT ===で区切られます。

すべての CLI オプション:

 NAME
    mdsplit4gpt - Splits a Markdown file into sections according to GPT token size limits.

SYNOPSIS
    mdsplit4gpt MD_PATH <flags>

DESCRIPTION
    This tool loads a Markdown file, and splits its content into sections
    that are within the specified token size limit using the desired GPT tokenizing model. The resulting
    sections are then concatenated using the specified separator and returned as a single string.

POSITIONAL ARGUMENTS
    MD_PATH
        Type: Union
        The path of the source Markdown file to be split.

FLAGS
    -m, --model=MODEL
        Type: str
        Default: 'gpt-3.5-turbo'
        The GPT tokenizer model to use for calculating token sizes. Defaults to "gpt-3.5-turbo".
    -l, --limit=LIMIT
        Type: Optional[int]
        Default: None
        The maximum number of GPT tokens allowed per section. Defaults to the model's maximum tokens.
    -s, --separator=SEPARATOR
        Type: str
        Default: '=== SPLIT ==='
        The string used to separate sections in the output. Defaults to "=== SPLIT ===".

Pythonの使用法

Python コードでsplit_markdown4gptを使用することもできます。基本的な例を次に示します。

 from split_markdown4gpt import split

sections = split ( "path_to_your_file.md" , model = "gpt-3.5-turbo" , limit = 4096 )
for section in sections :
    print ( section )

このコードは、上記の CLI コマンドと同じことを Python で実行します。

より高度な使用方法については、 API ドキュメントを参照してください。

仕組み

split_markdown4gpt指定された GPT モデルのトークナイザー (デフォルトはgpt-3.5-turbo ) を使用して入力 Markdown ファイルをトークン化することで機能します。次に、ファイルをセクションに分割し、各セクションには指定されたトークン制限以下が含まれます。

分割プロセスでは、Markdown ファイルの構造が尊重されます。セクションがトークン制限を超えない限り、(マークダウンの見出しで定義された) セクションが複数の出力セクションに分割されることはありません。その場合、それは

文レベルでセクションを分割します。

このツールは、これを実現するためにいくつかのライブラリを使用します。

GPT モデルのルールに従ってテキストをトークン化するためのtiktoken 。
CLI を作成するためのfire 。
Markdown ファイルの前付 (ファイルの先頭のメタデータ) を解析するためのfrontmatter 。
mistletoe Markdown ファイルを構文ツリーに解析します。
テキストを文に分割するためのsyntok 。
さまざまなユーティリティ関数用のregexとPyYAML 。

使用例

split_markdown4gpt 、GPT モデルを使用して大きな Markdown ファイルを処理する必要があるシナリオで特に役立ちます。例えば：

テキスト生成: GPT モデルを使用して大きな Markdown ファイルに基づいてテキストを生成している場合は、 split_markdown4gpt使用してファイルを管理可能なセクションに分割できます。これにより、GPT モデルはファイルをチャンク単位で処理できるようになり、トークンオーバーフローエラーを防ぐことができます。
データの前処理: 機械学習プロジェクトでは、多くの場合、データをモデルにフィードする前にデータを前処理する必要があります。データが大きな Markdown ファイルの形式である場合、 split_markdown4gpt使用すると、モデルのトークン制限に基づいてこれらのファイルを小さなセクションに分割できます。
ドキュメント分析: 大規模な Markdown ドキュメントを分析している場合 (キーワードの抽出、コンテンツの要約など)、 split_markdown4gpt使用してドキュメントを小さなセクションに分割できます。これにより、分析がより管理しやすく効率的になります。