sail bli

セイルブリ

このリポジトリは、次の論文の公式Pytorchの実装です。

Yaoyiran Li、Anna Korhonen、およびIvanvilić。 2024年。​計算言語学会協会の第62回年次総会（ACL 2024）の議事録。 [紙]

Sailは、監視されていない単語翻訳 /バイリンガル辞書誘導（BLI）を改善することを目的としています（1）ゼロショットプロンプトを備えた高自信の単語翻訳辞書を推測すること、コンテキスト内の例は、以前の反復の高自信辞書からのものであり、 （3）最終的には、最新のHigh-FincendienceDictionaryからコンテキスト内のサンプルを導出するいくつかのショットプロンプトでBLIテストセットで評価を実施します。プロセス全体では、トレーニング/少数のショット学習のための地上の真実の単語翻訳ペアを活用せず、ゼロショットプロンプトと比較してBLIベンチマークで通常10〜15の精度@1ポイントを改善します。

依存関係

• pytorch> = 1.10.1
• トランス> = 4.28.1
• Openai> = 1.28.1（オプション）

データ

以前の研究ContrastiveBli、Blicer、Prompt4Bliに続いて、データはXling（8言語、合計56の方向）とPanlex-Bli（15の低リソース言語、210 BLI方向）から取得されます。

Xlingデータを取得する：

sh get_xling_data.sh

Panlex-bliについては、./get_panlex_dataを参照してください。ここでは、単一言語の単語埋め込みを導出するためのコードを提供します。

コードを実行します

ブリの語彙を準備します：

python run_extract_vocabularies.py

sailでBLI評価を実行します（run_bli.pyで手動で評価するために、キーハイパーパラメーター、ディレクトリ、言語ペアを定義します）：

python run_bli.py

（オプション）llamaモデルを使用してprompt4bliで導入されたゼロショットプロンプトベースラインを実行します。

python run_zero_shot.py

（オプション）chatgptモデルを使用してprompt4bliで導入されたゼロショットプロンプトベースラインを実行します。

python run_zero_shot_chatgpt.py

私たちの仕事で使用されているLLM

主な実験（帆）：

私たちの主な実験には、命令調整なしの4つの前提条件のラマモデルが含まれます。

LLM	（顔を抱き締める）モデルID
llama-7b	「Huggyllama/llama-7b」
llama-13b	「Huggyllama/llama-13b」
llama2-7b	「メタラマ/llama-2-7b-hf」
llama2-13b	「メタラマ/llama-2-13b-hf」

更新：llama3-8b meta-llama/Meta-Llama-3-8Bもコードリポジトリでサポートされています。

追加のChatGPT実験（紙のセクション4.2に対応するゼロショットプロンプトのみ）：

ChatGPTモデルの命令調整は、機械翻訳のための大規模な並列データをカバーする可能性が高いため、監視されていないBLIには適していません（さらに、RLHFには、Antators/Usersからの単語/文レベル翻訳の監督信号を含めることもできます。 ）。参照としてのみゼロショットプロンプトで導出されたChatGptの結果を報告します。

LLM	（OpenAI API）モデルID
GPT-3.5	「GPT-3.5-TURBO-0125」
GPT-4	「GPT-4-TURBO-2024-04-09」

自己活動的な高信念辞書

また、論文のセクション4.2で./ AugmentedDicts-llama2-13bで説明したように、llama2-13bを使用して導出された自己活性辞書をリリースします。これらの高自信辞書は、n _it = 1、n _f = 5000、および単語逆翻訳で推測されます。

引用

Sail-Bliが便利だと思う場合は、私たちの論文を引用してください。

 @inproceedings { li-etal-2024-self-augmented ,
    title     = { Self-Augmented In-Context Learning for Unsupervised Word Translation } ,
    author    = { Li, Yaoyiran and Korhonen, Anna and Vuli{'c}, Ivan } ,
    booktitle = { Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics } ,    
    year      = { 2024 }
}