ダイアログの評価

ダイアログ評価 ·

17 のメトリクスを使用したダイアログ モデルの自動評価のための軽量リポジトリ。

特徴

? 計算したいメトリクスを選択します
評価は、応答ファイルまたは複数のファイルを含むディレクトリに対して自動的に実行できます。
? メトリクスは、事前に定義された処理しやすい形式で保存されます
️特定のメトリクスを計算するために必要なファイルが欠落している場合、プログラムは警告を発します。

メトリクス

• 応答の長さ: 応答内の単語数。
• 単語ごとのエントロピー: トレーニング データで観察された頻度に基づいて単語の確率が計算されます。バイグラム レベルのエントロピーも計算されます。
• 発話エントロピー: 単語ごとのエントロピーと応答の長さの積。バイグラム レベルでも計算されます。
• KL 発散: モデル応答の単語分布がグラウンド トゥルース分布にどの程度近似しているかを測定します。バイグラム レベルでも計算されます (バイグラム分布を使用)。
• 埋め込み: 埋め込み平均、極値、貪欲性が測定されます。平均は、応答とターゲット発話の単語ベクトルの平均間のコサイン類似度を測定します。 extrema は、応答とターゲット発話の単語ベクトルの間で各次元の最大絶対値を取ることによって表現を構築し、それらの間のコサイン類似度を測定します。貪欲は、ebedding 間のコサイン類似性に基づいて、各応答トークンをターゲット トークンと照合し (その逆も同様)、すべての単語の合計スコアを平均します。
• Coherence : 入力表現と応答表現のコサイン類似度 (平均単語埋め込み法で構築)。
• Distinct : Distinct-1 および Distinct-2 は、応答セット内のユニグラム/バイグラムの総数に対する一意のユニグラム/バイグラムの比率を測定します。
• BLEU : レスポンスとターゲットの間の n グラムの重複を測定します (n = [1,2,3,4])。スムージング方法は引数で選択できます。

設定

次のコマンドを実行して、必要なパッケージをインストールします。

 pip install -r requirements.txt

使用法

メイン ファイルはどこからでも呼び出すことができますが、ディレクトリへのパスを指定する場合は、リポジトリのルートから指定する必要があります。

 python code/main.py -h

完全なドキュメントについては、wiki を参照してください。

入力フォーマット

必要な引数パス (上の画像) をできるだけ多く指定する必要があります。一部を見逃した場合でもプログラムは実行されますが、それらのファイルを必要とする一部のメトリクスは計算されません (これらのメトリクスは出力されます)。トレーニング データ ファイルがある場合、プログラムは自動的に語彙を生成し、fastText 埋め込みをダウンロードできます。

すべてのメトリクスを計算したくない場合は、構成ファイルでどのメトリクスを計算するかを簡単に設定できます。

保存形式

ファイルは、応答ファイルが存在するディレクトリに保存されます。最初の行にはメトリクスの名前が含まれ、各行には 1 つのファイルのメトリクスが含まれます。ファイル名の後には、スペースで区切られた個々のメトリック値が続きます。各メトリクスは、平均、標準偏差、信頼区間というカンマで区切られた 3 つの数値で構成されます。引数で信頼区間の t 値を設定できます。デフォルトは 95% の信頼です。

結果と例

DailyDialog でトレーニングされた Transformer

興味深いことに、17 のメトリクスはすべて、ある時点までは改善しますが、DailyDialog での Transformer モデルのトレーニング中に過剰適合が発生せずに停滞します。図については、論文の付録を確認してください。

TRF は検証損失の最小値で評価された Transformer モデルであり、TRF-O はトレーニングの 150 エポック後に評価された Transformer モデルであり、メトリクスが停滞し始めます。 RT はトレーニング セットからランダムに選択された応答を意味し、GT はグラウンド トゥルース応答を意味します。

コーネル大学で訓練されたトランスフォーマー

TRF は Transformer モデルであり、RT はトレーニング セットからランダムに選択された応答を意味し、GT はグラウンド トゥルース応答を意味します。これらの結果は、検証損失が最小限に抑えられたチェックポイントでのテスト セットで測定されたものです。

Twitter でトレーニングされたトランスフォーマー

TRF は Transformer モデルであり、RT はトレーニング セットからランダムに選択された応答を意味し、GT はグラウンド トゥルース応答を意味します。これらの結果は、検証損失が最小限に抑えられたチェックポイントでのテスト セットで測定されたものです。

貢献する

サポートが必要な追加事項については、問題を確認してください。あらゆる貢献を歓迎します❤️

リポジトリで使用されているコード構文スタイル (flake8、スペース 2 個のインデント、80 文字行、大量のコメントなど) に従うようにしてください。

新しいメトリクスを追加するには、データに基づいてメトリクスの計算を処理するメトリクスのクラスを作成します。例については、BLEU メトリクスを確認してください。通常、init 関数は後で必要になるデータ設定を処理し、update_metrics は引数からの現在の例を使用してメトリクス dict を更新します。クラス内で、特定のテスト ファイルのメトリック値のリストを保存する self.metrics dict を定義する必要があります。これらのメトリクスの名前 (辞書のキー) も、構成ファイルの self.metrics に追加する必要があります。最後に、メトリック クラスのインスタンスを self.objects に追加する必要があります。ここで、メトリクスにセットアップが必要な場合は、初期化時にデータ ファイルへのパスを利用できます。この後、メトリクスが自動的に計算され、保存されます。

ただし、メトリクスにいくつかの制約を追加する必要もあります。たとえば、メトリクスの計算に必要なファイルが見つからない場合は、ここにあるようにユーザーに通知する必要があります。

著者

• Richard Csaky (コードの実行に関してサポートが必要な場合: [email protected])

ライセンス

このプロジェクトは MIT ライセンスに基づいてライセンスされています。詳細については、LICENSE ファイルを参照してください。
仕事で使用し、次の論文の引用を検討する場合は、このリポジトリへのリンクを含めてください。

 @inproceedings{Csaky:2019,
    title = "Improving Neural Conversational Models with Entropy-Based Data Filtering",
    author = "Cs{'a}ky, Rich{'a}rd and Purgai, Patrik and Recski, G{'a}bor",
    booktitle = "Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics",
    month = jul,
    year = "2019",
    address = "Florence, Italy",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/P19-1567",
    pages = "5650--5669",
}