pecore下载 - pecore源码下载

量化神经机器翻译中上下文依赖的合理性

加布里埃莱·萨尔蒂 • 格热戈日·赫鲁帕拉 • 马尔维娜·尼西姆 • 阿丽安娜·比萨扎

<跨度类= pecore 两步流程" width="300" style="max-width: 100%;"> pecore 示例" width="500" style="max-width: 100%;">

摘要：确定语言模型是否能够以人类合理的方式使用上下文信息对于确保其在现实世界环境中的安全采用非常重要。然而，上下文何时以及哪些部分影响模型生成的问题通常是单独解决的，并且当前的合理性评估实际上仅限于少数人为基准。为了解决这个问题，我们引入了上下文依赖的合理性评估（ pecore ），这是一个端到端的可解释性框架，旨在量化语言模型生成中的上下文使用情况。我们的方法利用模型内部结构来（i）对比识别生成文本中的上下文敏感目标标记，以及（ii）将它们链接到证明其预测合理的上下文线索。我们使用pecore来量化上下文感知机器翻译模型的合理性，将模型原理与人类注释在几种话语层面的现象中进行比较。最后，我们将我们的方法应用于未注释的生成，以识别上下文介导的预测并突出显示模型翻译中（不）合理的上下文使用的实例。

该存储库包含与论文“量化神经机器翻译中上下文依赖的合理性”相关的脚本和笔记本。如果您在工作中使用以下任何内容，我们恳请您引用我们的论文：

 @inproceedings { sarti-etal-2023-quantifying ,
    title = " Quantifying the Plausibility of Context Reliance in Neural Machine Translation " ,
    author = " Sarti, Gabriele and 
        Chrupa{l}a, Grzegorz and 
        Nissim, Malvina and
        Bisazza, Arianna " ,
    booktitle = " The Twelfth International Conference on Learning Representations (ICLR 2024) " ,
    month = may,
    year = " 2024 " ,
    address = " Vienna, Austria " ,
    publisher = " OpenReview " ,
    url = " https://openreview.net/forum?id=XTHfNGI3zT "
}

使用pecore

提示

您可以从我们的 Hugging Face Spaces 在线演示中尝试pecore 。

虽然该存储库实现了上述论文实验评估中使用的功能，但我们通过 Inseq 可解释性库提供了pecore的新 CLI 实现。我们强烈建议研究人员采用该实现，因为它更加稳健和通用，支持 Huggingface 库中的所有仅解码器和编码器-解码器模型，用于输入和输出上下文相关性检测和归因。有关更多详细信息，请参阅 Inseq 自述文件中的inseq attribute-context部分。

文物

该论文的所有工件，包括微调模型和训练/评估数据集，都可以在pecore HuggingFace Collection 中找到。演示版即将推出，敬请期待！

训练上下文感知 NMT 模型

上下文感知 NMT 模型使用train_context_aware_mt_model.py脚本进行训练。该脚本是对原始run_translation_no_trainer.py的修改。该脚本添加以下字段用于上下文模型训练：

context_size ：用于训练的上下文句子的数量。默认值为 0（句子级训练）。
sample_context ：如果设置，则每个示例的上下文大小将从 0 到context_size （含）之间的均匀分布进行采样。如果未传递且context_size大于 0，则上下文大小始终等于context_size 。
context_word_dropout ：从上下文中删除单词的概率介于 0 和 1 之间。默认值为 0（无丢失）。
use_target_context ：如果设置，上下文也包含在训练损失的翻译文本中。在这种情况下，输入src_ctx <brk> src的输出格式将变为tgt_ctx <brk> tgt 。否则输出格式为tgt （仅翻译src ）。

用法示例

以下是在上下文增强的 IWSLT17 数据集上微调 mBART 1-to-50 模型的示例，其中包含最多 4 个上下文句子和 10% 的上下文单词丢失：

accelerate launch scripts/train_context_aware_mt_model.py 
    --model_name_or_path facebook/mbart-large-50-one-to-many-mmt 
    --source_lang en_XX 
    --target_lang fr_XX 
    --dataset_name gsarti/iwslt2017_context 
    --dataset_config_name iwslt2017-en-fr 
    --output_dir outputs/models/iwslt17-mbart50-1toM-ctx4-cwd1-en-fr 
    --num_beams 5 
    --max_source_length 512 
    --max_target_length 128 
    --num_train_epochs 20 
    --gradient_accumulation_steps 4 
    --per_device_train_batch_size 8 
    --num_warmup_steps 500 
    --learning_rate 3e-4 
    --checkpointing_steps epoch 
    --with_tracking 
    --report_to tensorboard 
    --context_size 4 
    --sample_context 
    --context_word_dropout 0.1

下面是一个在 SCAT 训练部分上继续微调上下文感知 En->Fr OpusMT 模型的示例，最多有 4 个上下文句子和 10% 的上下文单词丢失：

accelerate launch scripts/train_context_aware_mt_model.py 
    --model_name_or_path context-mt/iwslt17-marian-big-ctx4-cwd1-en-fr 
    --dataset_name inseq/scat 
    --dataset_config_name sentences 
    --output_dir outputs/models/scat-marian-big-ctx4-cwd1-en-fr 
    --num_beams 5 
    --max_source_length 512 
    --max_target_length 128 
    --num_train_epochs 2 
    --gradient_accumulation_steps 2 
    --per_device_train_batch_size 8 
    --num_warmup_steps 0 
    --learning_rate 5e-5 
    --checkpointing_steps 1000 
    --logging_steps 200 
    --with_tracking 
    --report_to tensorboard 
    --context_size 4 
    --sample_context 
    --context_word_dropout 0.1

使用pecore CLI

pecore CLI 是一个命令行界面，用于在给定模型和数据集上运行pecore步骤。 CLI 在pecore /cli.py脚本中实现，并且可以在使用 pip install -e 安装软件包时用作pecore -viz pip install -e . 。当前的实现支持 Inseq 框架支持的所有编码器-解码器模型的上下文相关目标 (CTI) 识别和上下文线索插补 (CCI)，包括带有语言前缀标签的模型（mBART-50、NLLB、M2M100）以及使用特殊上下文标签训练的模型（例如，在 HF Hub 上的 context-mt 组织中找到的模型集合）。 CLI 可用于在给定模型和示例上运行pecore步骤，如下所示：

pecore-viz --model_name context-mt/scat-marian-small-ctx4-cwd1-en-fr --attributions_aggregate_fns sum --model_use_ctx_break --impute_with_contextless_output --force_context_aware_output_prefix --input "Did I mention we stole a cow? A beautiful animal, truly. We brought it to the stable and kept it there for ages.<brk> Sadly, we could not foresee it would disappear."">

 pecore -viz 
    --model_name context-mt/scat-marian-small-ctx4-cwd1-en-fr 
    --attributions_aggregate_fns sum 
    --model_use_ctx_break 
    --impute_with_contextless_output 
    --force_context_aware_output_prefix 
    --input " Did I mention we stole a cow? A beautiful animal, truly. We brought it to the stable and kept it there for ages.<brk> Sadly, we could not foresee it would disappear. "

上面的示例产生以下输出，正确突出显示上下文中代词“il”对名词“cow”和“animal”的依赖性。

Context with contextual cues (std λ=1.00) followed by output sentence
with context-sensitive target spans (std λ=1.00):

Input context:  Did I mention we stole a cow ? A beautiful animal, truly. We brought it to the stable and kept it there for ages.
Input current:  Sadly, we could not foresee it would disappear.
Context-aware output:   Malheureusement, nous n ' avons pas pu prévoir qu ' il disparaîtrait.
Using ' <brk> ' to separate context and current inputs.

# 1. (CTI |kl_divergence| > 0.14, CCI |saliency| > 0.71)
Contextless output:     Malheureusement, nous n ' avons pas pu prévoir qu ' il disparaîtrait.
Current output:  Malheureusement, nous n ' avons pas pu prévoir qu ' il(0.412) disparaîtrait.
Input context:   Did I mention we stole a cow(1.524) ? A beautiful animal(1.472), truly. We brought it to the stable and kept it 
there for ages.

当使用 CLI 运行常规模型时，如果用户不强制输出，则需要执行额外的步骤来指定模型生成中上下文中断的位置。以下是使用 HF Hub 中的常规 mBART-50 型号的示例：

pecore-viz --model_name facebook/mbart-large-50-one-to-many-mmt --input_lang eng --output_lang fra --model_type mbart50-1toM --impute_with_contextless_output --force_context_aware_output_prefix --input "Did I mention we stole a cow? A beautiful animal, truly. We brought it to the stable and kept it there for ages.<brk> Sadly, we could not foresee it would disappear."">

 pecore -viz 
    --model_name facebook/mbart-large-50-one-to-many-mmt 
    --input_lang eng --output_lang fra --model_type mbart50-1toM 
    --impute_with_contextless_output 
    --force_context_aware_output_prefix 
    --input " Did I mention we stole a cow? A beautiful animal, truly. We brought it to the stable and kept it there for ages.<brk> Sadly, we could not foresee it would disappear. "

将提示用户以下消息：

The following output was generate by the model: J’ai mentionné que nous avons volé une vache, c’est vraiment un beau animal, que nous avons emmené à l’élevage et que nous l’avons gardée pendant des époques. Malheureusement, nous n’avons pas pu prévoir qu’elle disparaîtrait.
Rewrite it here by adding ' <brk> ' wherever appropriate to mark context break:

然后，用户可以通过在适当的位置添加<brk>来重写输出以标记上下文中断：

J’ai mentionné que nous avons volé une vache, c’est vraiment un beau animal, que nous avons emmené à l’élevage et que nous l’avons gardée pendant des époques. < brk > Malheureusement, nous n’avons pas pu prévoir qu’elle disparaîtrait.

最终输出将是：

Context with contextual cues (std λ=1.00) followed by output sentence
with context-sensitive target spans (std λ=1.00):

Input context:  Did I mention we stole a cow ? A beautiful animal, truly. We brought it to the stable and kept it there for ages.
Input current:  Sadly, we could not foresee it would disappear.
Output context: J’ai mentionné que nous avons volé une vache, c’est vraiment un beau animal, que nous avons emmené à l’élevage et que nous l’avons gardée pendant 
des époques.
Context-aware output:   J’ai mentionné que nous avons volé une vache, c’est vraiment un beau animal, que nous avons emmené à l’élevage et que nous l’avons gardée 
pendant des époques. Malheureusement, nous n’avons pas pu prévoir qu’elle disparaîtrait.
Using language tags for model type ' mbart50-1toM ' (eng - > fra).

# 1. (CTI |kl_divergence| > 1.08, CCI |saliency| > 0.00)
Contextless output:     Malheureusement, nous n ' avons pas pu prévoir sa disparition.
Current output:  Malheureusement, nous n’(3.505)avons pas pu prévoir qu’elle disparaîtrait.
Input context:   Did I mention we stole a cow? A beautiful animal, truly. We brought it to the stable(0.002) and kept it there for ages.
Output context:  J’(0.004)ai mentionné que nous avons volé une vache, c’(0.002)est vraiment un beau animal, que nous avons emmené à l’(0.003)élevage et que nous 
l’(0.007)avons gardée pendant des époques.

在这种情况下，我们看到模型选择生成弯曲的撇号'而不是在无上下文输出中默认使用的直撇号'以坚持输出上下文样式，并多次使用该字符（由pecore识别为上下文提示）。

自定义归因方法

在这个例子中，我们使用第 5 层中头 8 的注意力权重来归因上下文依赖性。根据经验发现，这个头部与人类的直觉非常吻合。

pecore-viz --model_name context-mt/scat-marian-small-ctx4-cwd1-en-fr --attributions_aggregate_fns mean mean --model_use_ctx_break --impute_with_contextless_output --force_context_aware_output_prefix --input "Did I mention we stole a cow? A beautiful animal, truly. We brought it to the stable and kept it there for ages.<brk> Sadly, we could not foresee it would disappear." --attribution_method attention --select_attributions_idx 7 4">

 pecore -viz 
    --model_name context-mt/scat-marian-small-ctx4-cwd1-en-fr 
    --attributions_aggregate_fns mean mean 
    --model_use_ctx_break 
    --impute_with_contextless_output 
    --force_context_aware_output_prefix 
    --input " Did I mention we stole a cow? A beautiful animal, truly. We brought it to the stable and kept it there for ages.<brk> Sadly, we could not foresee it would disappear. " 
    --attribution_method attention 
    --select_attributions_idx 7 4

重现论文结果

使用上下文感知 NMT 模型进行翻译

python scripts/translate.py 
    --model_type mbart50-1toM 
    --model_id mbart50-1toM-scat 
    --model_name context-mt/scat-mbart50-1toM-ctx4-cwd1-en-fr 
    --context_size 4  
    --dataset scat 
    --context_word_dropout 1

python scripts/translate.py 
    --model_type marian-big 
    --model_id marian-big-scat-target 
    --model_name context-mt/scat-marian-big-target-ctx4-cwd0-en-fr 
    --context_size 4 
    --dataset disc_eval_mt 
    --context_word_dropout 0 
    --dataset_config anaphora

python scripts/translate.py 
    --model_type marian-big 
    --model_id marian-big-scat-target 
    --model_name context-mt/scat-marian-big-target-ctx4-cwd0-en-fr 
    --context_size 4 
    --dataset disc_eval_mt 
    --context_word_dropout 0 
    --dataset_config lexical-choice

python scripts/translate.py 
    --model_type marian-big 
    --model_id marian-big-scat 
    --model_name context-mt/scat-marian-big-ctx4-cwd1-en-fr 
    --context_size 4 
    --dataset disc_eval_mt 
    --context_word_dropout 1 
    --dataset_config anaphora

python scripts/translate.py 
    --model_type marian-big 
    --model_id marian-big-scat 
    --model_name context-mt/scat-marian-big-ctx4-cwd1-en-fr 
    --context_size 4 
    --dataset disc_eval_mt 
    --context_word_dropout 1 
    --dataset_config lexical-choice

python scripts/translate.py 
    --model_type mbart50-1toM 
    --model_id mbart50-1toM-scat 
    --model_name context-mt/scat-mbart50-1toM-ctx4-cwd1-en-fr 
    --context_size 0 
    --dataset disc_eval_mt 
    --context_word_dropout 0 
    --dataset_config lexical-choice

评估上下文感知 NMT 模型

python scripts/evaluate_mt_outputs.py 
    --filepath outputs/translations/ctx/scat-marian-small-scat-target.txt 
    --model_id marian-small-scat-target 
    --dataset scat 
    --src_lang eng 
    --tgt_lang fra 
    --metrics bleu comet accuracy flip 
    --has_target_context 
    --max_idx 250

python scripts/evaluate_mt_outputs.py 
    --filepath outputs/translations/ctx/disc_eval_mt-anaphora-marian-small-scat-target.txt 
    --model_id marian-small-scat-target 
    --dataset disc_eval_mt 
    --src_lang eng 
    --tgt_lang fra 
    --metrics bleu comet accuracy flip 
    --has_target_context 
    --max_idx 250

python scripts/evaluate_mt_outputs.py 
    --filepath outputs/translations/ctx/scat-mbart50-1toM-scat.txt 
    --model_id mbart50-1toM-scat 
    --dataset scat 
    --src_lang eng 
    --tgt_lang fra 
    --metrics bleu comet accuracy

python scripts/evaluate_mt_outputs.py 
    --filepath outputs/translations/ctx/scat-mbart50-1toM-scat.txt 
    --model_id mbart50-1toM-scat 
    --dataset scat 
    --src_lang eng 
    --tgt_lang fra 
    --metrics comet accuracy

创建运行pecore步骤的示例

python scripts/generate_examples.py 
    --dataset scat 
    --model_name context-mt/scat-marian-small-target-ctx4-cwd0-en-fr 
    --src_lang eng 
    --tgt_lang fra 
    --model_id marian-small-scat-target 
    --model_type marian-small 
    --has_context 
    --has_contrast 
    --has_target_context

python scripts/generate_examples.py 
    --dataset scat 
    --model_name context-mt/scat-mbart50-1toM-target-ctx4-cwd0-en-fr 
    --src_lang eng 
    --tgt_lang fra 
    --model_id mbart50-1toM-scat-target 
    --model_type mbart50-1toM 
    --has_context 
    --has_target_context 
    --has_contrast

python scripts/generate_examples.py 
    --dataset disc_eval_mt 
    --dataset_config anaphora 
    --model_name context-mt/scat-marian-small-ctx4-cwd1-en-fr 
    --src_lang eng 
    --tgt_lang fra 
    --model_id marian-small-scat 
    --model_type marian-small 
    --has_context 
    --has_contrast

python scripts/generate_examples.py 
    --dataset scat 
    --model_name Helsinki-NLP/opus-mt-en-fr 
    --src_lang eng 
    --tgt_lang fra 
    --model_id marian-small 
    --model_type marian-small 
    --has_contrast

pecore第 1 步：上下文相关目标识别 (CTI)

python scripts/tag_cti_metrics.py 
    --examples_path outputs/processed_examples/scat-marian-small-scat.tsv 
    --model_name context-mt/scat-marian-small-ctx4-cwd1-en-fr 
    --model_type marian-small

python scripts/tag_cti_metrics.py 
    --examples_path outputs/processed_examples/scat-marian-big-scat.tsv 
    --model_name context-mt/scat-marian-big-ctx4-cwd1-en-fr 
    --model_type marian-big

python scripts/tag_cti_metrics.py 
    --examples_path outputs/processed_examples/scat-mbart50-1toM-scat.tsv 
    --model_name context-mt/scat-mbart50-1toM-ctx4-cwd1-en-fr 
    --model_type mbart50-1toM

python scripts/tag_cti_metrics.py 
    --examples_path outputs/processed_examples/scat-marian-small-scat-target.tsv 
    --model_name context-mt/scat-marian-small-target-ctx4-cwd0-en-fr 
    --model_type marian-small

python scripts/tag_cti_metrics.py 
    --examples_path outputs/processed_examples/scat-marian-big-scat-target.tsv 
    --model_name context-mt/scat-marian-big-target-ctx4-cwd0-en-fr 
    --model_type marian-big

python scripts/tag_cti_metrics.py 
    --examples_path outputs/processed_examples/scat-mbart50-1toM-scat-target.tsv 
    --model_name context-mt/scat-mbart50-1toM-target-ctx4-cwd0-en-fr 
    --model_type mbart50-1toM

pecore第 2 步：上下文线索插补 (CCI)

python scripts/tag_cci_metrics.py 
    --examples_path outputs/processed_examples/scat-marian-small-scat.tsv 
    --model_name context-mt/scat-marian-small-ctx4-cwd1-en-fr 
    --model_type marian-small

python scripts/tag_cci_metrics.py 
    --examples_path outputs/processed_examples/scat-mbart50-1toM-scat-target.tsv 
    --model_name context-mt/scat-mbart50-1toM-target-ctx4-cwd0-en-fr 
    --model_type mbart50-1toM

评估pecore指标

python scripts/evaluate_tagged_metrics.py 
    --scores_path outputs/scores/scat-marian-small-scat-cti.tsv 
    --eval_mode cti 
    --use_trained_model

python scripts/evaluate_tagged_metrics.py 
    --scores_path outputs/scores/scat-marian-small-scat-cti.tsv 
    --eval_mode cti 
    --average_example_scores 
    --metrics random pcxmi kl_divergence 
    --save_preds

python scripts/evaluate_tagged_metrics.py 
    --scores_path outputs/scores/scat-marian-small-scat-cci.tsv 
    --eval_mode cci 
    --example_target_column is_supporting_context 
    --average_example_scores 
    --metrics random saliency_contrast_prob_diff attention_default attention_best

python scripts/evaluate_tagged_metrics.py 
    --scores_path outputs/scores/scat-marian-small-scat-target-cti.tsv 
    --eval_mode cti 
    --average_example_scores 
    --metrics random pcxmi kl_divergence 
    --save_preds

展开