コイキング

論文「コイキング釣り」のコード

このリポジトリには、論文「Fishing for Magikarp:Automatically Detecting Under-trained Tokens in Large Language Models」のコードと拡張結果が含まれています

結果の探索

このリポジトリで最も興味深いのは、results/ にある詳細なレポートと概要テーブルでしょう。各モデルには、「フル」レポートと「ミニ」レポートがあります。 「ミニ」バージョンはいつでも github で開くことができますが、完全バージョンはファイル サイズの制限により、ローカルにダウンロードして表示する必要がある場合があります。

これらのレポートでは次のようになります。

• はスペース▁ ( _ではありません)
• ¿entry?は、予想どおりにエンコードされなかった語彙entryを含むトークンを表します。

他のモデルでも動作する

設定

これは標準的な詩プロジェクトです。

poetry shell   # make/activate your virtual environment
poetry install # only the first time or on updates

一部の新しいモデルでは、 pip install git+https://github.com/huggingface/transformers.gitを使用して新しいバージョンのトランスフォーマーをインストールする必要がある場合があります。

ランニング

新しいモデルを実行するためのいくつかのコマンド例については、 run_verification.sh参照してください。スクリプト自体は主に再現性のためのリファレンスであり、実行することはお勧めしません。

結合された埋め込みを含むモデルの場合、またはより優れた視覚化と結果を得るには、いくつかの未使用のトークン ID をmagikarp/unused_tokens.pyにハードコーディングする必要があります。

• 関連モデルがすでに存在する場合は、トークン ID をコピーしても問題なく機能する可能性があります。
• 非結合埋め込みの場合、通常は検証を終了し、結果を取得した後に未使用のトークンを更新できます。
• まれなケースですが、結合された埋め込みを持つ新しいモデル ファミリの場合は次のようになります。
  • [0]などの推測を取るか、トークナイザーのボキャブラリーを使用していくつかを選択します。
  • magikarp/fishing.pyスクリプトを実行し、検証が開始されたら強制終了します。
  • これで、 results/verifications/yourmodel.jsonlが作成され、語彙を確認して適切なトークンを更新できるようになりました。
  • 未使用のトークンを更新し、検証を実行します。

結果の生成

• generate_results.py : プロットとマークダウン レポートを生成します。これは検証後に自動的に行われますが、再生成するには、 python generate_results.py [your_model_id] 、 resultsを確認します。

貢献する

追加のモデルの結果に貢献したい場合は、以下を含めてください。

• UNUSED_TOKENSエントリ
  • この配列をモデル レジストリとして使用する新しいモデルのトークン化テスト ( pytest経由) が合格することを確認します。
• run_verification.sh内の行
• .gitignoreされていないresults内のすべてのファイル

モデルリクエスト

分析するには興味深いかもしれないモデルを知っていても、それを自分で実行するためのリソースがない場合は、遠慮なく問題を開いてください。 Hugging Face ID、トークン化の観点からそれがどのように興味深いかについての情報を追加してください。また、モデルが大きくなるほど、優先される可能性が低くなることに留意してください。