openai function tokens

OpenAI 関数トークン推定ツール

この Python ユーティリティを使用して、関数を含むチャット完了のための OpenAI トークンの使用量を見積もります。

このパッケージはhmarrの openai-chat-tokens に基づいています。現時点 (2023 年 9 月) では、関数からのトークン数を正確に予測する方法に関する openai からの公式ドキュメントはありません。このパッケージはそれを解決します！これを使用すると、チャット完了のトークン数を非常に正確に推定し、OpenAI API の使用状況をより適切に管理できます。

ほとんどの場合、トークンに至るまでは正しいです。

インストール

1. pip 経由でパッケージをインストールする

    pip install openai-function-tokens

2. 推定関数のインポート

    from openai_function_tokens import estimate_tokens 

使用法

推定器を使用するには、 estimate_tokens関数を呼び出します。

 estimate_tokens ( messages , functions = None , function_call = None )

正確なトークン数を受け取るには、 messagesと、オプションでfunctionsおよびfunction_call渡します。

謝辞

オリジナルの TypeScript ツールについては hmarr の功績です。トークン カウンティング ロジックをより深く理解するには、彼のブログ投稿を参照してください。

さらに読む

関数呼び出し

チャットモデルで関数を呼び出す方法

ナレッジベースで関数を使用する方法

JSON スキーマのドキュメント

トークンのカウント (メッセージのみ)

貢献する

フィードバック、提案、貢献を大歓迎です。このツールをさらに改善するためにご協力ください。