鲤鱼

论文“钓鱼鲤鱼”的代码

该存储库包含论文《钓鱼 Magikarp：自动检测大型语言模型中训练不足的令牌》的代码和扩展结果

探索结果

这个存储库中最有趣的事情可能是 results/ 中找到的详细报告和摘要表。对于每个模型，都有一个“完整”和“迷你”报告。 “迷你”版本始终可以在 github 上打开，但由于文件大小限制，完整版本可能需要在本地下载和查看。

在这些报告中：

• ▁一个空格（但不是_ ）
• ¿entry?表示带有未按预期编码的词汇entry的标记。

在其他型号上运行

设置

这是一个标准的诗歌项目。

poetry shell   # make/activate your virtual environment
poetry install # only the first time or on updates

对于某些较新的型号，您可能需要使用pip install git+https://github.com/huggingface/transformers.git安装较新的 Transformers 版本

跑步

有关运行新模型的一些示例命令，请参阅run_verification.sh 。脚本本身主要是为了重现性的参考，不建议运行。

对于具有绑定嵌入的模型，或者为了更好的可视化和结果，您需要在magikarp/unused_tokens.py中对一些未使用的令牌 ID 进行硬编码。

• 如果相关模型已经存在，复制令牌 ID 可能会很好地工作。
• 对于非绑定嵌入，您通常可以让验证完成，并在获得结果后更新未使用的令牌。
• 对于具有绑定嵌入的新模型系列的罕见情况：
  • 进行猜测，例如[0] ，或使用分词器词汇来选择一些。
  • 运行magikarp/fishing.py脚本并在它开始验证时将其终止。
  • 您现在拥有results/verifications/yourmodel.jsonl ，它允许您查看词汇表并更新合适的标记。
  • 更新您未使用的令牌并运行验证。

生成结果

• generate_results.py ：生成绘图和 Markdown 报告。这在验证后会自动发生，但要重新生成，您可以python generate_results.py [your_model_id]然后查看results 。

贡献

如果您想为其他模型贡献结果，请包括：

• UNUSED_TOKENS条目
  • 确保新模型的标记化测试（通过pytest ）通过，该模型使用此数组作为模型注册表。
• run_verification.sh中的一行
• results中所有未添加.gitignore的文件

模型要求

如果您知道一个可能值得分析的模型，但没有资源自己运行它，请随时提出问题。请添加 Hugging Face id、一些关于标记化方面有趣的信息，并记住模型越大，被优先考虑的可能性就越小。