Awesome LLM Uncertainty Reliability Robustness
1.0.0
UR2-LLMsと呼ばれるこのリポジトリには、大規模言語モデルの不確実性、信頼性、堅牢性に関するリソースと論文のコレクションが含まれています。
「大規模な言語モデルには、信頼性、理解力、範囲が限られているため、人間による監督が必要です。」 - オックスフォード大学工学部機械学習教授、マイケル・オズボーン、2023 年 1 月 25 日
この分野に関する論文、考え、アイデアを共有することを歓迎します。
GPT は信頼性の低い情報ストアです
ノーブル・アッカーソン
[リンク]
2023 年 2 月 20 日
大規模言語モデルの「誤用」と MT の将来
アルル・ロンメル
[リンク]
2022 年 12 月 20 日
大規模な言語モデル: 基本とその応用
マルゴ・ポダ
[リンク]
2023 年 2 月 9 日
プロンプトエンジニアリング: 応答性と信頼性の向上
ピーター・フォイ
[リンク]
2023 年 3 月 19 日
信頼性を向上させるためのテクニックに関する OpenAI のクックブック
OpenAI
[ギットハブ]
2023 年 3 月 18 日
GPT/キャリブレーションタグ
グウェン・ブランウェン
[リンク]
迅速なエンジニアリング
リリアン・ウェン
[リンク]
LLM を利用した自律型エージェント
リリアン・ウェン
[リンク]
学習促進の信頼性
[リンク]
実稼働用の LLM アプリケーションの構築
チップ・フエン
[リンク]
2023 年 4 月 11 日
GPT-4 テクニカルレポート
OpenAI
arXiv 2023. [論文][クックブック]
2023 年 3 月 16 日
GPT-4 システムカード
OpenAI
arXiv 2023. [論文] [Github]
2023 年 3 月 15 日
自然言語処理の不確かさの推定
アダム・フィッシュ、ロビン・ジア、タル・シュスター
COLLING 2022. [ウェブサイト]
LLM ネットワークがより広く、より深くなればなるほど、より公平な LLM 評価が可能になります
Xinghua Zhang、Bowen Yu、Haiyang Yu、Yangyu Lv、Tingwen Liu、Fei Huang、Hongbo Xu、Yongbin Li
arXiv 2023. [論文][Github]
2023 年 8 月 3 日
大規模言語モデルの評価に関する調査
Yupeng Chang、Xu Wang、Jindong Wang、Yuan Wu、Kaijie Zhu、Hao Chen、Linyi Yang、Xiaoyuan Yi、Cunxiang Wang、Yidong Wang、Wei Ye、Yue Zhang、Yi Chang、Philip S. Yu、Qiang Yang、Xing Xie
Arxiv 2023. [論文][Github]
2023 年 7 月 6 日
DecodingTrust: GPT モデルの信頼性の包括的な評価
Boxin Wang、Weixin Chen、Hengzhi Pei、Chulin Xie、Mintong Kang、Chenhui Zhang、Chejian Xu、Zidi Xiong、Ritik Dutta、Rylan Schaeffer、Sang T. Truong、Simran Arora、Mantas Mazeika、Dan Hendryks、Zinan Lin、Yu Cheng、サンミ・コエジョ、ドーン・ソング、ボ・リ
Arxiv、2023 年。 [論文] [Github] [Web サイト]
2023 年 6 月 20 日
ChatGPT では信頼しますか? ChatGPT の信頼性の測定と特性評価
シンユエ・シェン、ゼユアン・チェン、マイケル・バックス、ヤン・チャン
arXiv、2023年。[論文]
2023 年 4 月 18 日
LLM の力を実際に活用する: ChatGPT とそれ以降に関する調査
Jingfeng Yang、Hongye Jin、Ruixiang Tang、Xiaotian Han、Qizhang Feng、Haoming Jiang、Bing ying、Xia Hu
arXiv 2023. [論文][Github]
2023 年 4 月 27 日
GPT-3.5 は以前のバージョンに対してどれくらい堅牢ですか?言語理解課題に関する総合的研究
Xuanting Chen、Junjie Ye、Can Zu、Nuo Xu、Rui Zheng、Minlong Peng、Jie Zhou、Tao Gui、Qi Zhang、Xuanjing Huang
arXiv 2023. [論文][Github]
2023 年 3 月 1 日
言語モデルの総合的な評価
パーシー・リャン、リシ・ボンマサニ、トニー・リー、ディミトリス・チプラス、ディララ・ソイル、安永道弘、イアン・チャン、ディーパック・ナラヤナン、ユーファイ・ウー、アナンヤ・クマール、ベンジャミン・ニューマン、ビンハン・ユアン、ボビー・ヤン、シー・チャン、クリスチャン・コスグローブ、クリストファー・D・マニング、クリストファー・レ、ダイアナ・アコスタ＝ナバス、ドリュー・A・ハドソン、エリックゼリクマン、エシン・ドゥルムス、ファイサル・ラダック、フリーダ・ロン、ホンユー・レン、ホアシュウ・ヤオ、ジュエ・ワン、ケシャブ・サンタナム、ローレル・オア、ルシア・ジェン、マート・ユクセゴヌル、ミラク・スズグン、ネイサン・キム、ニール・グハ、ニラドリ・チャタジ、オマール・ハッタブ、ピーター・ヘンダーソン、チェン・ファン、ライアン・チー、サン・マイケル謝、シバニ・サントゥルカール、スーリヤ・ガングリ、橋本達規、トーマス・イカード、チャン・ティエンイー、ヴィシュラフ・チョーダリー、ウィリアム・ワン、シュエチェン・リー、イーファン・マイ、チャン・ユフイ、是枝裕太
arXiv 2022. [論文] [ウェブサイト] [Github] [ブログ]
2022 年 11 月 16 日
GPT-3 の信頼性を高める
Chenglei Si、Zhe Gan、Zhengyuan Yang、Shuohang Wang、Jianfeng Wang、Jordan Boyd-Graber、Lijuan Wang
ICLR 2023. [論文] [Github]
2022 年 10 月 17 日
Plex: 事前トレーニング済みの大規模モデル拡張機能を使用して信頼性を高める
ダスティン・トラン、ジェレマイア・リュー、マイケル・W・デューセンベリー、デュ・ファン、マーク・コリアー、ジエ・レン、ケハン・ハン、ジー・ワン、ゼルダ・マリエット、フイイー・フー、ニール・バンド、ティム・G・J・ラドナー、カラン・シンハル、ザカリー・ナド、ジュースト・ファン・アメルスフォールト、アンドレアスキルシュ、ロドルフ・ジェナットン、ニサム・タイン、ホンリン・ユアン、ケリーブキャナン、ケビン マーフィー、D. スカリー、ヤリン ガル、ズービン ガーラマニ、ジャスパー スヌーク、バラジ ラクシュミナラヤナン
arXiv 2022. [論文]
2022 年 7 月 15 日
言語モデルは（ほとんど）知っていることを知っています
サウラフ・カダバス、トム・コナリー、アマンダ・アスケル、トム・ヘニハン、ドーン・ドレイン、イーサン・ペレス、ニコラス・シーファー、ザック・ハットフィールド＝ドッズ、ノヴァ・ダスサルマ、イーライ・トラン＝ジョンソン、スコット・ジョンストン、シアー・エル＝ショーク、アンディ・ジョーンズ、ネルソン・エルヘイジ、トリスタン・ヒューム、アンナ・チェン、ユンタオ・バイ、サム・ボウマン、スタニスラフ・フォート、ディープガングリ、ダニー・ヘルナンデス、ジョシュ・ジェイコブソン、ジャクソン・カーニオン、ショーナ・クラベック、リアン・ロビット、カマル・ンドウス、キャサリン・オルソン、サム・リンガー、ダリオ・アモデイ、トム・ブラウン、ジャック・クラーク、ニコラス・ジョセフ、ベン・マン、サム・マッキャンドリッシュ、クリス・オラー、ジャレッド・カプラン
arXiv 2022. [論文]
2022 年 7 月 11 日
拡張言語モデル: 調査
グレゴワール・ミアロン、ロベルト・デッシ、マリア・ロメリ、クリストフォロス・ナルムパンティス、ラム・パスヌル、ロベルタ・ライレヌ、バティスト・ロジエール、ティモ・シック、ジェーン・ドゥヴィヴェディ＝ユ、アスリ・チェリキルマズ、エドゥアール・グレイヴ、ヤン・ルカン、トーマス・シャロム
arXiv 2023. [論文]
2023 年 2 月 15 日
NLG システムに使用される評価指標の調査
アナンヤ・B・サイ、アカシュ・クマール・モハンクマール、ミテーシュ・M・カプラ
ACM コンピューティング調査、2022 年。[論文]
2022 年 1 月 18 日
NL-Augmenter: タスクに応じた自然言語拡張のためのフレームワーク
カウストゥブ D. ドール 他
ACL 2021. [論文][Github]
2021 年 12 月 6 日
TextFlint: 自然言語処理のための統合多言語堅牢性評価ツールキット
タオ・グイら。
arXiv 2021. [論文][Github]
2021 年 3 月 21 日
ロバストネス ジム: NLP 評価環境の統一
カラン・ゴエル、ナズニーン・ラジャニ、ジェシー・ヴィグ、サムソン・タン、ジェイソン・ウー、ステファン・ジェン、カイミン・ション、モヒット・バンサル、クリストファー・レ
ACL 2021. [論文] [Github]
2021 年 1 月 13 日
精度を超えて: CheckList を使用した NLP モデルの動作テスト
マルコ・トゥーリオ・リベイロ、トンシュアン・ウー、カルロス・ゲリン、サミール・シン
ACL 2020. [論文][Github]
2020 年 5 月 8 日
BLoB: 大規模言語モデルに対するバックプロパゲーションによるベイジアン低ランク適応
イービン・ワン、海州市、リゴン・ハン、ディミトリス・メタクサス、ハオ・ワン
arXiv 2024. [論文]
2024 年 6 月 18 日
LLM の不確実性の推定と定量化: シンプルな教師ありアプローチ
リンユー・リウ、ユー・パン、シャオチェン・リー、グァンティン・チェン
arXiv 2024. [論文]
2024 年 4 月 24 日
関連性に注意を移す: 大規模言語モデルの不確実性推定に向けて
Jinhao Duan、Hao Cheng、Shiqi Wang、Alex Zavalny、Chenan Wang、Renjing Xu、Bhavya Kailkhura、Kaidi Xu
arXiv 2023. [論文]
2023 年 10 月 9 日
飛躍する前に見てください: 大規模言語モデルの不確実性測定に関する探索的研究
Yuheng Huang、Jiayang Song、Zhijie Wang、Shengming Zhao、Huaming Chen、Felix Juefei-Xu、Lei Ma
arXiv 2023. [論文]
2023 年 7 月 16 日
大規模言語モデルの自然言語説明における不確実性の定量化
スリー ハルシャ タネル、チラグ アガルワル、ヒマビンドゥ ラッカラジュ
arXiv 2023. [論文]
2023 年 11 月 6 日
コンフォーマル自己回帰生成: カバレッジ保証付きのビーム検索
ニコラス・ドイチュマン、マービン・アルバーツ、マリア・ロドリゲス・マルティネス
arXiv 2023. [論文]
2023 年 9 月 7 日
あらゆる言語モデルからの回答の不確実性を定量化し、信頼性を高める
ジウハイ・チェン、ジョナス・ミュラー
arXiv 2023. [論文]
2023 年 8 月 30 日
自然言語生成における不確実性: 理論から応用まで
ジョリス・バーン、ニコ・ダーハイム、エフゲニア・イリア、デニス・ウルマー、ハウシン・リー、ラケル・フェルナンデス、バーバラ・プランク、リコ・ゼンリッチ、クリソウラ・ゼルヴァ、ウィルカー・アジズ
arXiv 2023. [論文]
2023 年 7 月 28 日
自信を持って生成: ブラックボックスの大規模言語モデルの不確実性の定量化
ジェン・リン、シュベンドゥ・トリヴェディ、ジメン・スン
arXiv 2023. [論文] [Github]
2023 年 5 月 30 日
コンセプトベースの AI システムにおける人間の不確実性
キャサリン・M・コリンズ、マシュー・バーカー、マテオ・エスピノーサ・ザルレンガ、ナヴィーン・ラマン、ウマン・バット、マテヤ・ジャムニク、イリア・スチョルツキー、エイドリアン・ウェラー、クリシュナムルシー・ドヴィジョサム
arXiv 2023. [論文]
2023 年 3 月 22 日
灰色の領域をナビゲートする: 言語モデルにおける自信過剰と不確実性の表現
ケイトリン・チョウ、ダン・ジュラフスキー、橋本達規
arXiv 2023. [論文]
2023 年 2 月 25 日
DEUP: 認識論的不確実性の直接予測
セーラム・ラーロウ、モクシュ・ジェイン、ハディ・ネコエイ、ヴィクトル・イオン・ブトイ、ポール・バーティン、ジャリッド・レクター＝ブルックス、マクシム・コラブリョフ、ヨシュア・ベンジオ
TMLR 2023. [論文]
2023 年 2 月 3 日
Seq2seq グラフ解析のための組成不確実性の定量化について
ジー・リン、ドゥ・ファン、パヌポン・パスパット、ジェレミア・ジェ・リュー、ジンボ・シャン
ICLR 2023. [論文]
2023 年 2 月 1 日
組成不確実性の定量化による堅牢な自己回帰グラフ解析のための神経記号推論
ジー・リン、ジェレミア・リュー、ジンボ・シャン
EMNLP 2022. [論文]
2023 年 1 月 16 日
モデルに不確実性を言葉で表現するよう教える
ステファニー・リン、ジェイコブ・ヒルトン、オウェイン・エヴァンス
TMLR 2022. [論文] [Github] [TMLR] [スライド]
2022 年 5 月 28 日
意味的不確実性: 自然言語生成における不確実性推定のための言語的不変性
ローレンツ・クーン、ヤリン・ガル、セバスチャン・ファーカー
ICLR 2023. [論文]
2022 年 2 月 19 日
少数ショット言語モデル微調整のためのコールドスタート データ選択: プロンプトベースの不確実性伝播アプローチ
Yue Yu、Rongzhi Zhang、Ran Xu、Jieyu Zhang、Jiaming Shen、Chao Zhang
arXiv 2022. [論文][Github]
2022 年 9 月 15 日
認識論的ニューラルネットワークによる言語モデルの微調整
イアン・オズバンド、シード・モハマド・アスガリ、ベンジャミン・ヴァン・ロイ、ナット・マカリース、ジョン・アスラニデス、ジェフリー・アーヴィング
arXiv 2022. [論文][Github]
2022 年 11 月 3 日
事前トレーニング済み言語モデルによる不確実性の定量化: 大規模な実証分析
ユーシン・シャオ、ポール・プー・リャン、ウマン・バット、ウィリー・ナイワンガー、ルスラン・サラクディノフ、ルイ・フィリップ・モランシー
EMNLP 2022 (調査結果)。 [論文][Github]
2022 年 10 月 10 日
言語報酬モデルの不確実性推定
アダム・グリーブ、ジェフリー・アーヴィング
arXiv 2022. [論文]
2022 年 3 月 14 日
テキスト回帰のための事前トレーニング済みモデルの不確実性の推定と削減
ユシア・ワン、ダニエル・ベック、ティモシー・ボールドウィン、カリン・ヴァースプール
TACL 2022. [論文]
2022年6月
自己回帰構造化予測における不確実性の推定
アンドレイ・マリンニン、マーク・ゲイルズ
ICLR 2021. [論文]
2020 年 2 月 18 日
ニューラル機械翻訳の教師なし品質推定
マリーナ・フォミチェワ、シュオ・サン、リサ・ヤンコフスカヤ、フレデリック・ブレイン、フランシスコ・グスマン、マーク・フィシェル、ニコラオス・アレトラス、ヴィシュラフ・チョードリー、ルチア・スペシア
TACL 2020. [論文][データセット]
2020 年 5 月 21 日
ニューラル機械翻訳における不確実性の分析
マイル・オット、マイケル・アウリ、デヴィッド・グランジェ、マルク・アウレリオ・ランザート
ICML 2018. [論文]
2018年
バッチ キャリブレーション: コンテキスト学習と迅速なエンジニアリングのためのキャリブレーションの再考
ハン・ジョウ、シンチェン・ワン、レフ・プロレエフ、ダイアナ・ミンク、ジーリン・チェン、キャサリン・ヘラー、スブラジット・ロイ
ICLR 2024. [論文] 2024 年 1 月 24 日
大規模な言語モデルは自分たちが知らないことを知っているのでしょうか?
Zhangyue ying、Qiushi Sun、Qipeng Guo、Jiawen Wu、Xipeng Qiu、Xuanjing Huang
arXiv 2023. [論文] 2023 年 5 月 29 日
調整を依頼するだけ: 人間のフィードバックで微調整された言語モデルから調整された信頼スコアを導き出すための戦略
キャサリン・ティアン、エリック・ミッチェル、アラン・ジョウ、アーキット・シャルマ、ラファエル・ラファイロフ、姚華秀、チェルシー・フィン、クリストファー・D・マニング
arXiv 2023. [論文]
2023 年 5 月 24 日
信頼できる誤情報の軽減に向けて: 一般化、不確実性、および GPT-4
ケリン・ペリン、メイリナ・レクソプロジョ、ケイレブ・グプタ、ジョエル・クリストフ、ライハネ・ラバニー
arXiv 2023. [論文]
2023 年 5 月 24 日
調整された解釈: 意味解析における信頼度の推定
エリアス・ステンゲル＝エスキン、ベンジャミン・ヴァン・ドゥルム
arXiv 2022. [論文] [Github]
2022 年 11 月 14 日。
シーケンスの尤度を調整することで条件付き言語の生成が改善される
ヤオ・ジャオ、ミーシャ・ハルマン、リシャブ・ジョシ、シャシ・ナラヤン、モハマド・サレハ、ピーター・J・リュー
ICLR 2023. [論文]
2022 年 9 月 30 日
校正された選択的分類
アダム・フィッシュ、トミ・ジャーッコラ、レジーナ・バルジライ
TMLR 2022. [論文]
2022 年 8 月 25 日
言語調整を通じて会話エージェントの自信過剰を軽減する
サブリナ・J・ミエルケ、アーサー・シュラム、エミリー・ディナン、Y・ラン・ブーロー
NAACL 2022. [論文]
2022 年 6 月 22 日
校正の再検討：質問応答の場合
Chenglei Si、Chen Zhao、Sewon Min、Jordan Boyd-Graber
EMNLP 2022 の調査結果。 [紙]
2022 年 5 月 25 日
不確実性を利用した協調的な神経記号グラフの意味解析に向けて
ジー・リン、ジェレミア・リュー、ジンボ・シャン
ACL フィンギング 2022. [論文]
2022 年 5 月 22 日
不確実性を考慮した機械翻訳の評価
タイシヤ・グルシコワ、クリソウラ・ゼルヴァ、リカルド・レイ、アンドレ・FT・マルティンス
EMNLP 2021. [論文]
2021 年 9 月 13 日
使用前に調整する: 言語モデルの少数ショットのパフォーマンスを向上させる
トニー・Z・ジャオ、エリック・ウォレス、シー・フェン、ダン・クライン、サミール・シン
ICML 2021. [論文][Github]
2021 年 2 月 19 日
言語モデルが認識していることをどのようにして知ることができるのでしょうか?質問応答のための言語モデルの調整について
ジャンバオ・ジャン、荒木淳、ディン・ハイボー、グラハム・ニュービッグ
TACL 2021. [論文][Github]
2020 年 12 月 2 日
事前トレーニング済みトランスフォーマーのキャリブレーション
シュリー・デサイ、グレッグ・ダレット
EMNLP 2020. [論文][Github]
2020 年 5 月 17 日
明確化のツリー: 検索拡張された大規模言語モデルを使用して曖昧な質問に答える
キム・ガンウ、キム・ソンドン、チョン・ビョングク、パク・ジュンソク、カン・ジェウ
EMNLP 2023. [論文][Github]
2023 年 10 月 23 日
曖昧な質問に選択的に答える
ジェレミー R. コール、マイケル JQ チャン、ダニエル ギリック、ジュリアン マーティン アイゼンシュロス、ブワン ディングラ、ジェイコブ アイゼンシュタイン arXiv 2023. [論文]
2023 年 5 月 24 日
言語モデルがあいまいさをモデリングしていないのではないかと心配しています Alisa Liu、Zhaofeng Wu、Julian Michael、Alane Suhr、Peter West、Alexander Koller、Swabha Swayamdipta、Noah A. Smith、Yejin Choi
arXiv 2023. [論文][Github]
2023 年 4 月 24 日
人間と言語モデルにおけるタスクの曖昧さ
アレックス・タムキン、クナル・ハンダ、アヴァシュ・シュレスタ、ノア・グッドマン
ICLR 2023. [論文][Github]
2022 年 12 月 20 日
CLAM: 生成言語モデルを使用した曖昧な質問の選択的明確化
ローレンツ・クーン、ヤリン・ガル、セバスチャン・ファーカー
arXiv 2022. [論文]
2022 年 12 月 15 日
会話型検索におけるあいまいなクエリへのアプローチ方法: テクニック、アプローチ、ツール、課題に関する調査
キミヤ・キーバン、ジミー・シャンジ・ファン
ACM コンピューティング調査、2022 年。[論文]
2022 年 12 月 7 日
大規模な言語モデルのサポート
ドミトリー・クラシェニンニコフ、エゴール・クラシェニンニコフ、デヴィッド・クルーガー
NeurIPS MLSW ワークショップ 2022. [論文]
2022 年 12 月 5 日
なぜ鶏は道を渡ったのでしょうか? VQA でのあいまいな質問の言い換えと分析
エリアス・ステンゲル＝エスキン、ヒメナ・グアラ＝ブラスコ、イー・チョウ、ベンジャミン・ヴァン・ドゥルメ
arXiv 2022. [論文][Github]
2022 年 11 月 14 日
Abg-CoQA: 会話での質問応答における曖昧さを明確にする
メイキ・グオ、ミンダ・チャン、シバ・レディ、マリヘ・アリハニ
AKBC 2021. [論文]
2021 年 6 月 22 日
大規模言語モデルにおける信頼と能力のギャップ: 認知的研究
アニケット・クマール・シン、スマン・デヴコタ、ビシャール・ラミチャイン、ウッタム・ダカル、チャンドラ・ダカル
arXiv 2023. [論文]
2023 年 9 月 28 日
数字の強さ: 即時の合意による大規模言語モデルの信頼性の推定
グウェニス・ポーティージョ・ワイトマン、アレクサンドラ・デルーシア、マーク・ドレッド
ACL TrustNLP ワークショップ 2023。[論文]
2023 年 7 月 1 日
ChatGPT などの LLM によって生成されたコンテンツを検出するためのさまざまなアプローチとは何ですか?そして、それらはどのように機能し、どのように異なるのでしょうか?
セバスチャン・ラシュカ
[リンク] [GPTZero]
2023 年 2 月 1 日
DetectGPT: 確率曲率を使用したゼロショット マシン生成テキスト検出
エリック・ミッチェル、ユノ・リー、アレクサンダー・カザツキー、クリストファー・D・マニング、チェルシー・フィン
arXiv 2023. [論文][ウェブサイト]
2023 年 1 月 26 日
自信を持った適応型言語モデリング
タル・シュスター、アダム・フィッシュ、ジェイ・グプタ、モスタファ・デガニ、ダラ・バーリ、ヴィン・Q・トラン、イー・タイ、ドナルド・メッツラー
NeurIPS 2022. [論文] 2022 年 10 月 25 日
コンフォーマルなリスク管理
アナスタシオス N アンゲロプロス、スティーブン ベイツ、アダム フィッシュ、リフア レイ、タル シュスター
arXiv 2022. [論文][Github]
2022 年 8 月 4 日
自然言語処理のアクティブラーニングに関する調査
Zhisong Zhang、Emma Strubell、Eduard Hovy
EMNLP 2022. [論文][Github]
2022 年 10 月 18 日
大規模な言語モデルに対する思考連鎖によるアクティブなプロンプト
Shizhe Diao、Pengcheng Wang、Yong Lin、Tong Zhang
arXiv 2023. [論文][Github]
2023 年 2 月 23 日
言語モデルを微調整するための低リソースの対話型アクティブラベル付け
前川誠司、ダン・チャン、ハンナ・キム、サージャドゥル・ラーマン、エステヴァム・フルシュカ
EMNLP 調査結果 2022。[論文]
2022 年 12 月 7 日
ドメイン外データを使用してラベル付けを減らすことはできますか?数回の命令によるアクティブ学習と転移学習
ラファル・コシェルニク、サラ・カンガスラティ、シュリマイ・プラブモエ、ミーナ・ハリ、R・マイケル・アルバレス、アニマ・アナンドクマール
NeurIPS ワークショップ 2022. [論文]
2022 年 11 月 21 日
AfroLM: アフリカ 23 言語の自己能動学習ベースの多言語事前トレーニング済み言語モデル
ボナベンチャー FP ドッソウ、アトナフ ランベボ トンジャ、オリーン ユスフ、サロミー オセイ、アビゲイル オッポン、イヤヌオルワ ショーデ、オルワブサヨ オルフンケ アウォヨミ、クリス チネニエ エメズエ
EMNLP 2022. [論文][Github]
2022 年 11 月 7 日
アクティブ ラーニングは、事前トレーニングされたモデルが意図したタスクを学習するのに役立ちます
アレックス・タムキン、ダット・ファム・グエン、サリル・デシュパンデ、ジェシー・ムー、ノア・グッドマン
NeurIPS 2022. [論文][Github]
2022 年 10 月 31 日
選択的アノテーションにより言語モデルがより優れた少数ショット学習者に
スー・ホンジン、葛西順悟、チェン・ヘンリー・ウー、ウェイジア・シー、ティアンルー・ワン、ジャーイー・シン、ルイ・チャン、マリ・オステンドルフ、ルーク・ゼトルモイヤー、ノア・A・スミス、タオ・ユー
ICLR 2023. [論文][Github]
2022 年 9 月 5 日
事前トレーニングされたトランスフォーマーベースのモデルのマルチタスク アクティブ ラーニング
ガイ・ロットマン、ロイ・ライチャート
TACL 2022. [論文] [Github]
2022 年 8 月 10 日
AcTune: 事前トレーニング済み言語モデルのアクティブな微調整のための不確実性ベースのアクティブな自己トレーニング
Yue Yu、Lingkai Kong、Jieyu Zhang、Rongzhi Zhang、Chao Zhang
NAACL-HLT2022。 [論文] [Github]
2022 年 7 月 10 日
計算的に実現可能な深層アクティブラーニングに向けて
アキム・ツヴィグン、アルチョム・シェルマノフ、グレブ・クズミン、レオニード・サチキン、ダニール・ラリオノフ、グレブ・グセフ、マンベル・アヴェティシアン、レオニード・ジューコフ
NAACL 2022. [論文] [Github]
2022 年 5 月 7 日
FAMIE: 多言語情報抽出のための高速アクティブ ラーニング フレームワーク
ミン・ヴァン・グエン、ギア・チュン・ゴ、ボナン・ミン、ティエン・フウ・グエン
NAACL 2022. [論文] [Github]
2022 年 2 月 16 日
事前トレーニング済み言語モデルをアクティブ ラーニングに効果的に適応させることの重要性について
カテリーナ・マルガティナ、ロイク・バロー、ニコラオス・アレトラス
ACL 2022. [論文]
2022 年 3 月 2 日
Deep Transformer 言語モデルを使用したアクティブ ラーニングの制限
マイク・ダーシー、ダグ・ダウニー
Arxiv 2022. [論文]
2022 年 1 月 28 日
対比事例を獲得するアクティブ・ラーニング
カテリーナ マルガティナ、ジョルゴス ヴェルニコス、ロイク バロー、ニコラオス アレトラス
EMNLP 2021. [論文][Github]
2021年9月8日
Transformers を使用したアクティブ ラーニングのための不確実性ベースのクエリ戦略の再考
クリストファー・シュレーダー、アンドレアス・ニークラー、マルティン・ポットストスト
ACL 2022 の調査結果。 [論文][Github]
2021 年 7 月 12 日
事前に深くトレーニングされたモデルとベイズ不確かさ推定を使用したシーケンスのタグ付けのためのアクティブ ラーニング
アルテム・シェルマノフ、ドミトリー・プジレフ、リュボフ・クプリヤノワ、デニス・ベリャコフ、ダニール・ラリオノフ、ニキータ・クロモフ、オルガ・コズロワ、エカテリーナ・アルテモワ、ドミトリー・V・ディロフ、アレクサンダー・パンチェンコ
EACL 2021. [論文]
2021 年 2 月 18 日
アクティブ ラーニングによる低リソースの自然言語理解のための BERT の微調整
ダニエル・グリーシャバー、ヨハネス・マウハー、ゴック・タン・ヴー
COLING 2020. [論文]
2020 年 12 月 4 日
素晴らしい幻覚検出
HallusionBench: 大規模視覚言語モデルにおけるもつれ言語幻覚と錯視のための高度な診断スイート
Tianrui Guan*、Fuxiao Liu*、Xiyang Wu、Ruiqi Xian、Zongxia Li、Xiaoyu Liu、Xijun Wang、Lichang Chen、Furong Huang、Yaser Yacoob、Dinesh Manocha、Tianyi Zhou
CVPR 2024. [論文][Github]
2024 年 3 月 18 日
SAC
Jiaxin Zhang、Zhuohang Li、Kamalika Das、Bradley A. Malin、Sricharan Kumar
EMNLP 2023. [論文][Github]
2023 年 11 月 3 日
幻覚リーダーボード
ベクタラ
[リンク]
2023 年 11 月 2 日
事実を超えて: 知識生成者としての大規模言語モデルの包括的な評価
Liang Chen、Yang Deng、Yatao Bian、Zeyu Qin、Bingzhe Wu、Tat-Seng Chua、Kam-Fai Wong
EMNLP 2023. [論文][Github]
2023 年 10 月 12 日
検証の連鎖により大規模な言語モデルの幻覚が軽減される
シェザード・ドゥリアワラ、モジタバ・コメイリ、ジン・シュー、ロベルタ・ライレヌ、シアン・リー、アスリ・チェリキルマズ、ジェイソン・ウェストン
arXiv 2023. [論文]
2023 年 9 月 20 日
言語モデルは参照の幻覚をいつ起こしているかを知っていますか?
アユシュ・アグラワル、レスター・マッキー、アダム・タウマン・カライ
arXiv 2023. [論文]
2023 年 5 月 29 日。
大規模言語モデルの自己矛盾した幻覚: 評価、検出、軽減
ニールス・ミュンドラー、ジンシュアン・ホー、スロボダン・ジェンコ、マルティン・ヴェチェフ
arXiv 2023. [論文]
2023 年 5 月 25 日
ChatGPT が真実の回答を提供できないのはなぜですか?
シェン・ジェン、ジエ・ファン、ケビン・チェン＝チャン・チュアン
arXiv 2023. [論文]
2023 年 5 月 24 日
言語モデルの幻覚が雪だるま式に起こる仕組み
ムル・チャン、オフィール・プレス、ウィリアム・メリル、アリサ・リュー、ノア・A・スミス
arXiv 2023. [論文]
2023 年 5 月 22 日
LM 対 LM: 反対尋問による事実誤認の検出
ロイ・コーエン、メイ・ハムリ、モル・ゲヴァ、アミール・グロバーソン
arXiv 2023. [論文]
2023 年 5 月 22 日
HaluEval: 大規模言語モデルの大規模幻覚評価ベンチマーク
Junyi Li、Xiaoxue Cheng、Wayne Xin Zhao、Jian-Yun Nie、Ji-Rong Wen
arXiv 2023. [論文] 2023 年 5 月 19 日
SelfCheckGPT: 生成大規模言語モデル向けのゼロリソース ブラック ボックス幻覚検出
ポツウィー・マナクル、アディアン・リウジー、マーク・J・F・ゲイルズ
arXiv 2023. [論文] [Github]
2023 年 3 月 8 日
事実を確認して再試行: 外部知識と自動フィードバックによる大規模言語モデルの改善
Baolin Peng、Michel Galley、Pengcheng He、Hao Cheng、Yujia Xie、Yu Hu、Qiuyuan Huang、Lars Liden、Zhou Yu、Weizhu Chen、Jianfeng Gao
arXiv 2023. [論文]
2023 年 2 月 23 日
RHO (ρ): 知識基盤を備えたオープンドメイン対話における幻覚の軽減
Ziwei Ji、Zihan Liu、Nayeon Lee、Tiezheng Yu、Bryan Wilie、Min Zeng、Pascale Fung
arXiv 2022. [論文]
2022 年 12 月 3 日
FaithDial: 情報を求める対話のための忠実なベンチマーク
ヌーハ ジリ、イーサン カマルー、シヴァン ミルトン、オスマール ザイアン、モー ユ、エドアルド M. ポンティ、シヴァ レディ
TACL 2022. [論文]
2022 年 4 月 22 日
自然言語生成における幻覚に関する調査
Ziwei Ji、Nayeon Lee、Rita Frieske、Tiezheng Yu、Dan Su、Yan Xu、石井悦子、Yejin Bang、Wenliang Dai、Andrea Madotto、Pascale Fung
arXiv 2022. [論文]
2022 年 2 月 8 日
TruthX: 真の空間で大規模な言語モデルを編集することによる幻覚の軽減 Shaolei Zhang、Tian Yu、Yang Feng
arXiv 2024. [論文] [Github]
2024 年 2 月 27 日
推論時間介入: 言語モデルから真実の答えを引き出す Kenneth Li、Oam Patel、Fernanda Viégas、Hanspeter Pfister、Martin Wattenberg
arXiv 2023. [論文] [Github]
2023 年 6 月 6 日
LLM の内部状態は、いつ嘘をついているかを認識します
エイモス・アザリア、トム・ミッチェル
arXiv 2023. [論文]
2023 年 4 月 26 日
TruthfulQA: モデルが人間の虚偽をどのように模倣するかを測定する
ステファニー・リン、ジェイコブ・ヒルトン、オウェイン・エヴァンス
ACL 2022. [論文] [Github] [ブログ]
2021年9月8日
真実のAI：嘘をつかないAIの開発と管理
オウェイン・エヴァンス、オーウェン・コットン＝バラット、ルーカス・フィンヴェデン、アダム・ベイルズ、アヴィタル・バルウィット、ピーター・ウィルス、ルカ・リゲッティ、ウィリアム・サンダース
arXiv 2021. [論文] [ブログ]
2021 年 10 月 13 日
意味の一貫性による大規模言語モデルの信頼性の測定
ハーシュ ラージ、ドメニク ロザティ、スバブラタ マジュムダル
NeurIPS 2022 ML 安全ワークショップ。 [紙]
2022 年 11 月 10 日
REFINER: 中間表現に関する推論フィードバック
デブジット・ポール、メテ・イスマイルザダ、マキシム・ペイラール、ベアトリス・ボルヘス、アントワーヌ・ボセルット、ロバート・ウェスト、ボイ・ファルティングス
arXiv 2023. [論文]
2023 年 4 月 4 日
OpenICL: コンテキスト内学習のためのオープンソース フレームワーク
Zhenyu Wu、YaoXiang Wang、Jiacheng Ye、Jiangtao Feng、Jingjing Xu、Yu Qiao、Zhiyong Wu
arXiv 2023. [論文] [Github]
2023 年 3 月 6 日
大規模な言語モデルと解答セット プログラミングによる信頼性の高い自然言語理解
アビラモン・ラージャセカラン、ヤンカイ・ゼン、パルト・パダルカル、ゴパール・グプタ
arXiv 2023. [論文]
2023 年 2 月 7 日
自己一貫性により言語モデルの思考連鎖推論が改善される
Xuezhi Wang、ジェイソン・ウェイ、デイル・シューアマンズ、クオック・リー、エド・チー、シャラン・ナラン、アーカンクシャ・チョードリー、デニー・チョウ
ICLR 2023. [論文]
2022 年 3 月 21 日
思考の連鎖プロンプトが大規模な言語モデルで推論を引き出します。
ジェイソン・ウェイ、シュエジー・ワン、デール・シュールマンス、マールテン・ボスマ、エド・チー、クオック・リー、デニー・チョウ
arXiv 2022. [論文]
2022 年 1 月 28 日
STAR: 独学で推論を学び、推論を使って推論をブートストラッピングします。
エリック・ゼリクマン、ウー・ユフアイ、ノア・D・グッドマン
NeurIPS 2022. [論文][Github]
2022 年 3 月 28 日
テキスト推論を求める少数ショットプロンプトにおける説明の信頼性の低さ
シイ・イェー、グレッグ・ダレット
NeurIPS 2022. [論文] [Github]
2022 年 5 月 6 日
言語モデルにおける論理的拡張アンサンブル
Xuezhi Wang、Jason Wei、Dale Schuurmans、Quoc Le、Ed Chi、Denny Zhou
arXiv 2022. [論文]
2022 年 7 月 2 日
ReAct: 言語モデルでの推論と行動の相乗効果
ヤオ・シュンユー、ジェフリー・チャオ、ディアン・ユー、ナン・ドゥ、イザク・シャフラン、カルティク・ナラシンハン、袁操
ICLR 2023. [論文][Github] [プロジェクト]
2022 年 10 月 6 日
よく考えたら、一歩ずつ考えるのはやめましょう！ゼロショット推論におけるバイアスと毒性
オマール・シャイク、ホンシン・チャン、ウィリアム・ヘルド、マイケル・バーンスタイン、ディイー・ヤン
arXiv 2022. [論文]
2022 年 12 月 15 日
言語モデルをより優れた推論者にする進歩について
Yifei Li、Zeqi Lin、Shizhuo Zhang、Qiang Fu、Bei Chen、Jian-Guang Lou、Weizhu Chen
arXiv 2022. [論文][Github]
2022 年 6 月 6 日
Ask Me Anything: 言語モデルを促すためのシンプルな戦略
シムラン・アローラ、アヴァニカ・ナラヤン、メイイー・F・チェン、ローレル・オア、ニール・グハ、クシュ・バティア、イネス・チャミ、フレデリック・サラ、クリストファー・レ
arXiv 2022. [論文][Github]
2022 年 10 月 5 日
MathPrompter: 大規模言語モデルを使用した数学的推論
シマ・イマニ、リャン・ドゥ、ハーシュ・シュリヴァスタヴァ
arXiv 2023. [論文]
2023 年 3 月 4 日
複雑さに基づいた複数ステップの推論のプロンプト
ヤオ・フー、ハオ・ペン、アシシュ・サバーワル、ピーター・クラーク、トゥシャール・コート
arXiv 2022. [論文][Github]
2022 年 10 月 3 日
言語モデルの構成ギャップを測定して狭める
オフィル・プレス、ムル・チャン、セウォン・ミン、ルートヴィヒ・シュミット、ノア・A・スミス、マイク・ルイス
arXiv 2022. [論文][Github] 2022 年 10 月 7 日
知識集約型の複数ステップの質問に対する思考連鎖推論によるインターリーブ検索
ハーシュ トリヴェディ、ニランジャン バラスブラマニアン、トゥシャール コート、アシシュ サバーワル
arXiv 2023. [論文][Github]
2022 年 12 月 20 日
オプティマイザーとしての大規模言語モデル
Chengrun Yang、Xuezhi Wang、Yifeng Lu、Hanxiao Liu、Quoc V. Le、Denny Zhou、Xinyun Chen
arXiv 2023. [論文]
2023 年 9 月 7 日
InstructZero: ブラックボックス大規模言語モデルの効率的な命令の最適化
Lichang Chen、Jiuhai Chen、Tom Goldstein、Heng Huang、Tianyi Zhou
arXiv 2023. [論文] [Github]
2023 年 6 月 5 日
プロンプトブースティング: 10 回の前方パスによるブラックボックス テキスト分類
バイル・ホウ、ジョー・オコナー、ジェイコブ・アンドレアス、シーユー・チャン、ヤン・チャン
ICML 2023. [論文][Github]
2023 年 1 月 23 日
GrIPS: 大規模な言語モデルをプロンプトするための、勾配のない編集ベースの命令検索
アルキキ・プラサド、ピーター・ハーセ、ショウ・ジョウ、モヒット・バンサル
EACL 2023. [論文][Github]
2022 年 3 月 14 日
RLPrompt: 強化学習による離散テキスト プロンプトの最適化
Mingkai Deng、Jianyu Wang、Cheng-Ping Hsieh、Yihan Wang、Han Guo、Tianmin Shu、Meng Song、Eric P. Xing、Zhiting Hu
EMNLP 2022. [論文][Github]
2022 年 5 月 25 日
事前トレーニング済み言語モデルのブラックボックス即時学習
Shizhe Diao、Zhichao Huang、Ruijia Xu、Xuechun Li、Yong Lin、Xiao Zhou、Tong Zhang
TMLR 2023. [論文][Github]
2022 年 1 月 22 日
Language-Model-as-a-Service のブラックボックス チューニング
Tianxiang Sun、Yunfan Shao、Hong Qian、Xuanjing Huang、Xipeng Qiu
ICML 2022. [論文][Github]
2022 年 1 月 10 日
BBTv2: 大規模な言語モデルによる勾配のない未来に向けて
Tianxiang Sun、Zhengfu He、Hong Qian、Yunhua Zhou、Xuanjing Huang、Xipeng Qiu EMNLP 2022. [論文] [Github]
2022 年 12 月 7 日
大規模な言語モデルにおける自動思考連鎖プロンプト
ジャン・ジュオシェン、アストン・チャン、ムー・リー、アレックス・スモーラ
ICLR 2023. [論文][Github]
2022 年 10 月 7 日
ラベル付きデータからの思考連鎖による自動プロンプト拡張と選択
KaShun Shum、Shizhe Diao、Tong Zhang
arXiv 2023. [論文][Github]
2023 年 2 月 24 日
大規模な言語モデルは人間レベルのプロンプト エンジニアです
周永超、アンドレイ・ヨアン・ムレサヌ、ハン・ジウェン、ケイラン・ペイスター、シルヴィウ・ピティス、ハリス・チャン、ジミー・バー
ICLR 2023. [論文] [Github]
2022 年 11 月 3 日
素晴らしい順序のプロンプトとそれらを見つける場所: 数ショットのプロンプト順序の敏感さを克服する
ヤオ・ルー、マックス・バルトロ、アラステア・ムーア、セバスチャン・リーデル、ポンタス・ステネトルプ
ACL 2022. [論文]
コンテキスト学習のためのアクティブなサンプルの選択
チャン・イーミン、シー・フェン、チェンハオ・タン
EMNLP 2022. [論文][Github]
2022 年 11 月 8 日
選択的アノテーションにより言語モデルがより優れた少数ショット学習者に
スー・ホンジン、葛西順悟、チェン・ヘンリー・ウー、ウェイジア・シー、ティアンルー・ワン、ジャーイー・シン、ルイ・チャン、マリ・オステンドルフ、ルーク・ゼトルモイヤー、ノア・A・スミス、タオ・ユー
ICLR 2023. [論文][Github]
2022 年 9 月 5 日
コンテキスト内学習のためのプロンプトを取得する方法を学習する
オハド・ルービン、ジョナサン・ヘルツィッグ、ジョナサン・ベラント
NAACL-HLT 2022. [論文][Github]
2021 年 12 月 16 日
LaMini-LM: 大規模命令から抽出された多様なモデルの群れ
ミンハオ・ウー、アブドゥル・ワヒード、チユ・チャン、ムハマド・アブドゥル＝マジード、アルハム・フィクリ・アジ
arXiv 2023. [論文][Github]
2023 年 4 月 27 日
自己調整: 自己フィードバックによる反復的な調整
アマン・マダーン、ニケット・タンドン、プラカール・グプタ、スカイラー・ハリナン、ルーユ・ガオ、サラ・ウィーグリフ、ウリ・アロン、ヌーハ・ジリ、シュリマイ・プラブモエ、イーミン・ヤン、ショーン・ウェレック、プラサード・マジュムダー菩薩、シャシャンク・グプタ、アミール・ヤズダンバフシュ、ピーター・クラーク
arXiv 2023. [論文][Github] [Webサイト]
2023 年 3 月 30 日
必要なのはプロンプトだけですか? No. 指導学習の包括的かつより広い視点
レンゼ・ルー、カイ・チャン、ウェンペン・イン
arXiv 2023. [論文][Github]
2023 年 3 月 18 日
Self-Instruct: 言語モデルと自己生成された命令の調整
ワン・イージョン、イェガネ・コルディ、スワループ・ミシュラ、アリサ・リュー、ノア・A・スミス、ダニエル・カシャビ、ハンナネ・ハジシルジ
arXiv 2022. [論文] [Github]
2022 年 12 月 20 日
AI の憲法: AI フィードバックによる無害性
Yuntao Bai 他 (人類学)
arXiv 2022. [論文]
2022 年 12 月 15 日
モデルで記述された評価による言語モデルの動作の発見
イーサン・ペレスら。
arXiv 2022. [論文]
2022 年 12 月 19 日
コンテキストに沿った指導学習
イェ・ソンヒョン、ファン・ヒョンビン、ヤン・ソヒ、ユン・ヒョング、キム・イルン、ソ・ミンジュン
arXiv 2023. [論文][Github]
2023 年 2 月 28 日
オープンドメインの質問応答のための数ショット プロンプトによるインターネット拡張言語モデル
アンジェリキ・ラザリドゥ、エレナ・グリボフスカヤ、ヴォイチェフ・ストコヴィエツ、ニコライ・グリゴレフ
arXiv 2023. [論文]
2023 年 3 月 10 日
思考プログラムのプロンプト: 数的推論タスクの推論から計算を解きほぐす
陳文湖、馬雪光、王信義、ウィリアム・W・コーエン
arXiv 2022. [論文][Github]
2022 年 11 月 22 日
PAL: プログラム支援言語モデル
ルーユ・ガオ、アマン・マダーン、シューヤン・チョウ、ウリ・アロン、ペンフェイ・リウ、イーミン・ヤン、ジェイミー・カラン、グラハム・ノイビッグ
arXiv 2022. [論文] [Github] [プロジェクト]
2022 年 11 月 18 日
TALM: ツール拡張言語モデル
アーロン・パリシ、ヤオ・ジャオ、ノア・フィーデル
arXiv 2022. [論文]
2022 年 5 月 24 日
Toolformer: 言語モデルはツールの使い方を自らに学習させることができる
ティモ・シック、ジェーン・ドウィヴェディ＝ユー、ロベルト・デッシ、ロベルタ・ライレヌ、マリア・ロメリ、ルーク・ゼトルモイヤー、ニコラ・カンセッダ、トーマス・シャロム
arXiv 2023. [論文]
2023 年 2 月 9 日
段階的に蒸留していきます！少ないトレーニング データと小さなモデル サイズで大規模な言語モデルを上回るパフォーマンスを実現
Cheng-Yu Hsieh、Chun-Liang Li、Chih-Kuan Yeh、Hootan Nakhost、藤井泰久、Alexander Ratner、Ranjay Krishna、Chen-Yu Lee、Tomas Pfister
arXiv 2023. [論文]
2023 年 5 月 3 日
FreeLM: 微調整不要の言語モデル
Xiang Li1、Xin Jiang、Xuying Meng、Aixin Sun、Yequan Wang
arXiv 2023. [論文]
2023 年 5 月 2 日
自動データキュレーションによる堅牢な言語モデルの微調整
ジウハイ・チェン、ジョナス・ミュラー
arXiv 2024. [論文]
2024 年 3 月 19 日
不変言語モデリング Maxime Peyrard、Sarvjeet Singh Ghotra、Martin Josifoski、Vidhan Agarwal、Barun Patra、Dean Carignan、Emre Kiciman、Robert West
EMNLP 2022. [論文][Github]
2021 年 10 月 16 日
順序に依存しない表現の正則化による堅牢なパーソナライズされた対話生成に向けて
リャン・チェン、ホンルー・ワン、ヤン・デン、ワイ・チュング・クワン、カム・ファイ・ウォン
ACL 2023 の調査結果。[論文][Github]
2023 年 5 月 22 日
コード分析のための大規模な言語モデルの分布シフトの調査
Shushan Arakelyan、Rocktim Jyoti Das、Yi Mao、Xiang Ren
arxiv2023。[紙]
2023 年 3 月 16 日
条件付き言語モデルの分配不足検出と選択的生成
Jie Ren、Jiaming Luo、Yao Zhao、Kundan Krishna、Mohammad Saleh、Balaji Lakshminarayanan、Peter J. Liu
ICLR 2023。[紙]
2022 年 9 月 30 日
優先言語モデルのドメイン適応と一般化について：調査
Xu Guo、Han Yu
arxiv2022。[紙]
2022年11月6日
LLMに対する敵対的な攻撃
リリアンウェン[ブログ]
2023年10月25日
プロンプトベンチ：敵対的なプロンプトでの大きな言語モデルの堅牢性の評価に向けて
Kaijie Zhu、Jindong Wang、Jiaheng Zhou、Zichen Wang、Hao Chen、Yidong Wang、Linyi Yang、Wei Ye、Neil Zhenqiang Gong、Yue Zhang、Xing Xie
arxiv2023。[紙] [github]
20223年6月7日
chatgptの堅牢性について：敵対的で分散していない視点
ジンディン・ワン、Xixu hu、ウェンキシン・フー、ハオ・チェン、ランカイ・チャン、イドン・ワン、リニ・ヤン、ハオジュン・ファン、ウェイ・イェ、Xiubo Geng、ビンキシンJiao、Yue Zhang、Xing Xie
arxiv2023。[紙] [github]
2023 年 2 月 22 日
自然言語処理システムの信頼性テスト
Samson Tan、Shafiq Joty、Kathy Baxter、Araz Taeihagh、Gregory A. Bennett、Min-Yen Kan
ACL-IJCNLP 2021。[論文]
2021 年 5 月 6 日
帰属質問の回答：属性の大規模な言語モデルの評価とモデリング
Bernd Bohnet、Vinh Q. Tran、Pat Verga、Roee Aharoni、Daniel Andor、Livio Baldini Soares、Massimiliano Ciaramita、Jacob Eisenstein、Kuzman Ganchev、Jonathan Herzig、Kai Hui、Tom Kwiatkowski、Ji Ma、ji ma、ji ma、ji、ji、ji、ji、ji、ji、ji、ji、ji、ji、ji、ji、ji、ji、ji ma、ji ma、ji ma Schuster、William W. Cohen、Michaelコリンズ、ディパンジャン・ダス、ドナルド・メッツラー、スラブ・ペトロフ、ケリー・ウェブスター
arxiv2022。[紙]
2022 年 12 月 15 日
大規模な言語モデルは相関から因果関係を推測できますか？
Zhijing Jin、Jiarui Liu、Zhiheng Lyu、Spencer Poff、Mrinmaya Sachan、Rada Mihalcea、Mona Diab、BernhardSchölkopf
arxiv2023。[紙] [github]
2023年6月9日
選択推論：解釈可能な論理推論のために大規模な言語モデルを活用します
アントニア・クレスウェル、マレー・シャナハン、イリーナ・ヒギンズ
ICLR 2023。[紙]
2022 年 5 月 19 日
LLMSの因果的理解の調査
マリウス・ホッブハーン、トム・リーベルム、デビッド・セイラー
Neurips 2022ワークショップ。 [紙] [ブログ]
2022年10月3日
