英語とパシアのマシン翻訳
このリポジトリは、NLPコースプロジェクト-2023用に作成されています。
- FairSeq-Pyを使用して、英語のテキストをペルシャ語に翻訳します。
モデル
en-fa-mt_model1
- LSTMデコーダーエンコーダーアーキテクチャには、注意メカニズムを備えた1つのエンコーダーレイヤーと1つのデコーダーレイヤーが含まれています
- centepieceモデルは、バイトペアエンコード（BPE）データに使用されます
- FairSeq-Pyを使用した列車モデル
en-fa-mt_model2
- LSTMデコーダーエンコーダーアーキテクチャには、注意メカニズムを備えた1つのエンコーダーレイヤーと1つのデコーダーレイヤーが含まれています
- Bert-Multilingual-Base-Modelトークネザーは、データのトークンに使用されます
- fairseq-pyを使用し、モデル重量の初期値としてbert-multingual-base-modelの埋め込み層の重みを使用した列車モデル
データ
AFECデータセットには、整列されたペルシャ語と英語の文、および人間翻訳された文が含まれています。 AFECデータセットの詳細については、その記事を読むことができます
