thumbダウンロード - thumbソースコードのダウンロード

親指

LLM 用のシンプルなプロンプトテストライブラリ。

クイックスタート

1. ライブラリをインストールする

pip install thumb

2. テストを設定する

 import os
import thumb

# Set your API key: https://platform.openai.com/account/api-keys
os . environ [ "OPENAI_API_KEY" ] = "YOUR_API_KEY_HERE"

# set up a prompt templates for the a/b test
prompt_a = "tell me a joke"
prompt_b = "tell me a family friendly joke"

# generate the responses
test = thumb . test ([ prompt_a , prompt_b ])

3. 回答を評価する

デフォルトでは、各プロンプトは非同期で 10 回実行されます。これは、順次実行するよりも約 9 倍高速です。 Jupyter Notebook では、ブラインド評価応答に対してシンプルなユーザーインターフェイスが表示されます (どのプロンプトが応答を生成したかはわかりません)。

すべての応答が評価されると、次のパフォーマンス統計がプロンプトテンプレートごとに分類されて計算されます。

avg_scoreすべての実行に対する肯定的なフィードバックの割合としての量
avg_tokens : プロンプトと応答全体で使用されたトークンの数
avg_cost : プロンプトの平均実行コストの推定値

単純なレポートがノートブックに表示され、完全なデータが CSV ファイルthumb/ThumbTest-{TestID}.csvに保存されます。

機能性

テストケース

テストケースは、さまざまな入力変数を使用してプロンプトテンプレートをテストする場合です。たとえば、コメディアンの名前の変数を含むプロンプトテンプレートをテストする場合は、さまざまなコメディアンに対してテストケースを設定できます。

 # set up a prompt templates for the a/b test
prompt_a = "tell me a joke in the style of {comedian}"
prompt_b = "tell me a family friendly joke in the style of {comedian}"

# set test cases with different input variables
cases = [
  { "comedian" : "chris rock" }, 
  { "comedian" : "ricky gervais" }, 
  { "comedian" : "robin williams" }
  ]

# generate the responses
test = thumb . test ([ prompt_a , prompt_b ], cases )

すべてのテストケースはすべてのプロンプトテンプレートに対して実行されるため、この例では 6 つの組み合わせ (3 つのテストケース x 2 つのプロンプトテンプレート) が得られ、それぞれ 10 回実行されます (OpenAI への呼び出しは合計 60 回)。すべてのテストケースには、プロンプトテンプレートの各変数の値が含まれている必要があります。

プロンプトには、各テストケースで複数の変数が含まれる場合があります。たとえば、コメディアンの名前とジョークのトピックの変数を含むプロンプトテンプレートをテストする場合は、さまざまなコメディアンとトピックのテストケースをセットアップできます。

 # set up a prompt templates for the a/b test
prompt_a = "tell me a joke about {subject} in the style of {comedian}"
prompt_b = "tell me a family friendly joke about {subject} in the style of {comedian}"

# set test cases with different input variables
cases = [
  { "subject" : "joe biden" , "comedian" : "chris rock" }, 
  { "subject" : "joe biden" , "comedian" : "ricky gervais" }, 
  { "subject" : "donald trump" , "comedian" : "chris rock" }, 
  { "subject" : "donald trump" , "comedian" : "ricky gervais" }, 
  ]

# generate the responses
test = thumb . test ([ prompt_a , prompt_b ], cases )

同じ入力データを与えた場合の各プロンプトのパフォーマンスを公平に比較するために、すべてのケースがすべてのプロンプトに対してテストされます。 4 つのテストケースと 2 つのプロンプトを使用すると、8 つの組み合わせ (4 つのテストケース x 2 つのプロンプトテンプレート) が得られ、それぞれ 10 回実行されます (OpenAI への呼び出しは合計 80 回)。

モデルのテスト

 # set up a prompt templates for the a/b test
prompt_a = "tell me a joke"
prompt_b = "tell me a family friendly joke"

# generate the responses
test = thumb . test ([ prompt_a , prompt_b ], models = [ "gpt-4" , "gpt-3.5-turbo" ])

これにより、同じ入力データが与えられた場合の各プロンプトのパフォーマンスを公平に比較するために、各モデルに対して各プロンプトが実行されます。 2 つのプロンプトと 2 つのモデルを使用すると、4 つの組み合わせ (2 プロンプト x 2 モデル) が得られ、それぞれ 10 回実行されます (OpenAI への呼び出しは合計 40 回)。

システムメッセージ

 # set up a prompt templates for the a/b test
system_message = "You are the comedian {comedian}"

prompt_a = [ system_message , "tell me a funny joke about {subject}" ]
prompt_b = [ system_message , "tell me a hillarious joke {subject}" ]

cases = [{ "subject" : "joe biden" , "comedian" : "chris rock" }, 
         { "subject" : "donald trump" , "comedian" : "chris rock" }]

# generate the responses
test = thumb . test ([ prompt_a , prompt_b ], cases )

プロンプトには文字列または文字列の配列を指定できます。プロンプトが配列の場合、最初の文字列はシステムメッセージとして使用され、残りのプロンプトはヒューマンメッセージとアシスタントメッセージの間で交互に表示されます ( [system, human, ai, human, ai, ...] )。これは、システムメッセージを含むプロンプト、またはプレウォーミング (AI を望ましい動作に導くために事前のメッセージをチャットに挿入する) を使用しているプロンプトをテストする場合に役立ちます。

 # set up a prompt templates for the a/b test
system_message = "You are the comedian {comedian}"

prompt_a = [ system_message , # system
            "tell me a funny joke about {subject}" , # human
            "Sorry, as an AI language model, I am not capable of humor" , # assistant
            "That's fine just try your best" ] # human
prompt_b = [ system_message , # system
            "tell me a hillarious joke about {subject}" , # human
            "Sorry, as an AI language model, I am not capable of humor" , # assistant
            "That's fine just try your best" ] # human

cases = [{ "subject" : "joe biden" , "comedian" : "chris rock" }, 
         { "subject" : "donald trump" , "comedian" : "chris rock" }]

# generate the responses
test = thumb . test ([ prompt_a , prompt_b ], cases )

評価報告書

テストが完了すると、PID、CID、モデルごとに分類された完全な評価レポートと、すべての組み合わせで分類された全体的なレポートが取得されます。 1 つのモデルまたは 1 つのケースのみをテストする場合、これらの内訳は除外されます。レポートの下部には、どの ID がどのプロンプトまたはケースに対応するかを示すキーが表示されます。

パラメータ

thumb.test関数は次のパラメーターを受け取ります。

必須

プロンプト: テストするプロンプト (文字列) の配列

オプション

case : 各プロンプトテンプレートに入力する変数の辞書 (デフォルト: None )
run : プロンプトおよびテストケースごとに生成する応答の数 (デフォルト: 10 )
models : 応答を生成する OpenAI モデルのリスト (デフォルト: [ gpt-3.5-turbo ])
async_generate : 非同期で実行するか順次実行するかを示すブール値 (デフォルト: True )

2 つのプロンプトテンプレートと 3 つのテストケースを含む 10 回のテスト実行がある場合、OpenAI への呼び出しは10 x 2 x 3 = 60になります。注意: 特に GPT-4 では、コストがすぐに膨れ上がる可能性があります。

LANGCHAIN_API_KEYが環境変数 (オプション) として設定されている場合、LangSmith への Langchain トレースは自動的に有効になります。

ロードと追加

.test()関数はThumbTestオブジェクトを返します。テストにさらにプロンプトまたはケースを追加したり、追加の回数実行したりできます。いつでもテストデータを生成、評価、エクスポートすることもできます。

 # set up a prompt templates for the a/b test
prompt_a = "tell me a joke"
prompt_b = "tell me a family friendly joke"

# generate the responses
test = thumb . test ([ prompt_a , prompt_b ])

# add more prompts
test . add_prompts ([ "tell me a knock knock joke" , "tell me a knock knock joke about {subject}" ])

# add more cases
test . add_cases ([{ "subject" : "joe biden" }, { "subject" : "donald trump" }])

# run each prompt and case 5 more times
test . add_runs ( 5 )

# generate the responses
test . generate ()

# rate the responses
test . evaluate ()

# export the test data for analysis
test . export_to_csv ()

すべてのプロンプトテンプレートはすべてのテストケースから同じ入力データを取得しますが、プロンプトはテストケース内のすべての変数を使用する必要はありません。上の例と同様に、 tell me a knock knock jokeプロンプトではsubject変数は使用されませんが、テストケースごとに 1 回 (変数なしで) 生成されます。

プロンプトとケースの組み合わせに対して実行の各セットが生成された後、テストデータはローカル JSON ファイルthumb/.cache/{TestID}.jsonにキャッシュされます。テストが中断された場合、またはテストを追加したい場合は、 thumb.load関数を使用して、キャッシュからテストデータをロードできます。

 # load a previous test
test_id = "abcd1234" # replace with your test id
test = thumb . load ( f"thumb/.cache/ { test_id } .json" )

# run each prompt and case 2 more times
test . add_runs ( 2 )

# generate the responses
test . generate ()

# rate the responses
test . evaluate ()

# export the test data for analysis
test . export_to_csv ()

プロンプトとケースの各組み合わせの実行はすべてオブジェクト (およびキャッシュ) に保存されるため、プロンプト、ケース、または実行がさらに追加されない場合、 test.generate()再度呼び出しても新しい応答は生成されません。同様に、 test.evaluate()再度呼び出しても、すでに評価した応答は再評価されず、テストが終了した場合は結果が再表示されるだけです。

親指のテスト??

ChatGPT をただいじっているだけの人々と、本番環境で AI を使用している人々の違いは評価です。 LLM は非決定的に応答するため、幅広いシナリオにわたってスケールアップしたときに結果がどのようになるかをテストすることが重要です。評価フレームワークがなければ、プロンプトで何が機能しているか (または機能していないのか) を盲目的に推測することになります。

真剣なプロンプトエンジニアは、どの入力が有用な出力または望ましい出力につながるかを、確実かつ大規模にテストして学習しています。このプロセスはプロンプト最適化と呼ばれ、次のようになります。