LM reasoning
1.0.0
このリポジトリには、大規模言語モデルの推論に関する論文とリソースのコレクションが含まれています。
詳細については、「大規模言語モデルでの推論に向けて: 調査」を参照してください。
不足しているペーパー (発行またはプルリクエスト) を遠慮なくお知らせください。
投稿者: Jie Huang @UIUC
洞察力に富んだディスカッションと提案をくださった Kevin Chen-Chuan Chang @UIUC、Jason Wei @Google Brain、Denny Zhou @Google Brain に感謝いたします。
ジエ・ファン、ケビン・チェン・チュアン・チャン
ジェイソン・ウェイ、イー・テイ、リシ・ボンマサニ、コリン・ラッフェル、バレット・ゾフ、セバスチャン・ボルゴー、ダニ・ヨガタマ、マーテン・ボスマ、デニー・チョウ、ドナルド・メッツラー、エド・H・チー、橋本達規、オリオール・ヴィニャルズ、パーシー・リャン、ジェフ・ディーン、ウィリアム・フェダス
デヴィッド・ドーハン、ウィニー・スー、アイトール・レウコウィッチ、ジェイコブ・オースティン、デヴィッド・ビーバー、ラファエル・ゴンティホ・ロペス、ユーファイ・ウー、ヘンリク・ミハレフスキー、リフ・A・サウラス、ジャッシャ・ソール＝ディックスタイン、ケビン・マーフィー、チャールズ・サットン
ヤオ・フー、ハオ・ペン、トゥシャール・ショット
Shuofei Qiao、Yixin Ou、Ningyu Zhang、Xiang Chen、Yunzhi Yao、Shumin Deng、Chuanqi Tan、Fei Huang、Huajun Chen
パン・ルー、リャン・チウ、ウェンハオ・ユー、ショーン・ウェレック、カイウェイ・チャン
Qingxiu Dong、Lei Li、Damai Dai、Ce Zheng、Zhiyong Wu、Baobao Chang、Xu Sun、Jingjing Xu、Lei Li、Zhifang Sou
ヤン・ゾンリン、ドゥ・シンヤ、ルイ・マオ、ジンジェ・ニー、エリック・カンブリア
フェイ・ユー、ホンボー・チャン、ベンユー・ワン
私たちは主に、GPT-3 (175B) のような大規模な言語モデルにおける「推論」の改善または導き出しに適用できる手法に焦点を当てています。
このパラダイムの論文は非常に多様で、通常は特定のデータセットでトレーニングされた小規模なモデルに基づいています。ここでは参考のためにいくつかの論文をリストします (つまり、リストは完全ではありません)。議論については、私たちのアンケートを参照してください。
ナズニーン・ファテマ・ラジャニ、ブライアン・マッキャン、カイミン・ション、リチャード・ソーチャー
アロン・タルモア、オイビンド・タフィヨルド、ピーター・クラーク、ヨアヴ・ゴールドバーグ、ジョナサン・ベラント
ダン・ヘンドリックス、コリン・バーンズ、サウラフ・カダヴァス、アクール・アローラ、スティーヴン・バサート、エリック・タン、ドーン・ソング、ジェイコブ・スタインハート
マクスウェル・ナイ、アンダース・ヨハン・アンドレアッセン、ガイ・ガー・アリ、ヘンリク・ミハレフスキー、ジェイコブ・オースティン、デヴィッド・ビーバー、デヴィッド・ドーハン、アイトール・レウコウィッチ、マールテン・ボスマ、デヴィッド・ルアン、チャールズ・サットン、オーガスタス・オデナ
ソーミャ・サンヤル、ハーマン・シン、シャン・レン
ジェイソン・ウェイ、シュエジ・ワン、デイル・シュールマンス、マールテン・ボスマ、ブライアン・イクター、フェイ・シア、エド・チー、クオック・リー、デニー・チョウ
ボシー・ワン、シャン・デン、ファン・スン
小島武史、シェーン・グー・シーシアン、マシェル・リード、松尾豊、岩沢祐介
ベン・プリスタウスキー、ポール・シボドー、ノア・グッドマン
フリーダ・シー、ミラク・スズグン、マルクス・フライターグ、シュエジ・ワン、スラジ・スリヴァツ、ソロシュ・ヴォソギ、ヒョンウォン・チョン、イー・テイ、セバスティアン・ルーダー、デニー・チョウ、ディパンジャン・ダス、ジェイソン・ウェイ
陳文湖
アマン・マダーン、シュヤン・ジョウ、ウリ・アロン、イーミン・ヤン、グラハム・ニュービッグ
Luyu Gao*、Aman Madaan*、Shuyan Zhou*、Uri Alon、Pengfei Liu、Yiming Yang、Jamie Callan、Graham Neubig
陳文湖、馬雪光、王信義、ウィリアム・W・コーエン
ハンフェン・ホー、ホンミン・チャン、ダン・ロス
カール・コッベ、ヴィニート・コサラジュ、モハマド・バイエルン、マーク・チェン、ヒウー・ジュン、ルカシュ・カイザー、マティアス・プラパート、ジェリー・トゥレク、ジェイコブ・ヒルトン、中野礼一郎、クリストファー・ヘッセ、ジョン・シュルマン
Xuezhi Wang、ジェイソン・ウェイ、デイル・シューアマンズ、クオック・リー、エド・チー、シャラン・ナラン、アーカンクシャ・チョードリー、デニー・チョウ
Yifei Li、Zeqi Lin、Shizhuo Zhang、Qiang Fu、Bei Chen、Jian-Guang Lou、Weizhu Chen
ヤオ・フー、ハオ・ペン、アシシュ・サバーワル、ピーター・クラーク、トゥシャール・コート
ジャン・ジュオシェン、アストン・チャン、ムー・リー、アレックス・スモーラ
ハティ・チョウ、アザデ・ノヴァ、ヒューゴ・ラロシェル、アーロン・クールヴィル、ベナム・ネイシャーブール、ハニー・セギ
Yixuan Weng、Minjun Zhu、Shizhu He、Kang Liu、Jun Zhao
デニー・チョウ、ナサナエル・シャーリ、レー・ホウ、ジェイソン・ウェイ、ネイサン・スケールズ、シュエジー・ワン、デール・シュールマンス、クレア・キュイ、オリヴィエ・ブスケ、クオック・リー、エド・チー
アンドリュー・ドロズドフ、ナタナエル・シャーリ、イーキン・アキュレク、ネイサン・スケールズ、シンイン・ソング、シンユン・チェン、オリヴィエ・ブスケ、デニー・チョウ
トゥシャール・コート、ハーシュ・トリヴェディ、マシュー・フィンレイソン、ヤオ・フー、カイル・リチャードソン、ピーター・クラーク、アシシュ・サバーワル
オフィル・プレス、ムル・チャン、セウォン・ミン、ルートヴィヒ・シュミット、ノア・A・スミス、マイク・ルイス
ディール・ドゥア、シヴァンシュ・グプタ、サミール・シン、マット・ガードナー
Yunhu Ye、Binyuan Hui、Min Yang、Binhua Li、Fei Huang、Yongbin Li
ウェンロン・ファン、ピーター・アビール、ディーパック・パタック、イゴール・モルダッチ
アントニア・クレスウェル、マレー・シャナハン、イリーナ・ヒギンズ
チョン・ジェフン、チン・リアンホイ、ショーン・ウェレック、ファイズ・ブラフマン、チャンドラ・バガヴァトゥラ、ローナン・ル・ブラス、チェ・イェジン
アントニア・クレスウェル、マレー・シャナハン
パン・ルー、スワループ・ミシュラ、トニー・シア、リャン・チウ、カイウェイ・チャン、ソンチュン・ジュー、オイヴィンド・タフィヨルド、ピーター・クラーク、アシュウィン・カリヤン
Shiyang Li、Jianshu Chen、Yelong Shen、Zhiyu Chen、Xinlu Zhang、Zekun Li、Hong Wang、Jing Qian、Baolin Peng、Yi Mao、Wenhu Chen、Xifeng Yan
クマール・シュリダール、アレッサンドロ・ストルフォ、ムリンマヤ・サッチャン
ルーシー・シャーロット・マジスター、ジョナサン・マリンソン、ヤクブ・アダメク、エリック・マルミ、アリアクセイ・セヴェリン
セイエド・メヘラン・カゼミ、ナジュン・キム、ディープティ・バティア、シン・スー、ディーパック・ラマチャンドラン
シボ・ハオ、イー・グ、ハオディー・マー、ジョシュア・ジアホア・ホン、ジェン・ワン、デイジー・ジェ・ワン、ジーティン・フー
Xinyu Pi、Qian Liu、Bei Chen、Morteza Ziyadi、Zeqi Lin、Qiang Fu、Yan Gao、Jian-Guang Lou、Weizhu Chen
アイトール・レウコウィッチ、アンダース・アンドレアッセン、デヴィッド・ドーハン、イーサン・ダイアー、ヘンリク・ミハレフスキー、ヴィナイ・ラマシュ、アンブローズ・スローン、ジェム・アニル、イマノール・シュラーク、テオ・ガットマン＝ソロ、ユーファイ・ウー、ベナム・ネイシャブール、ガイ・ガー・アリ、ヴェダント・ミスラ
ジェム・アニル、ユーファイ・ウー、アンダース・アンドレアッセン、アイトール・レウコウィッチ、ヴェダント・ミスラ、ヴィナイ・ラマシュ、アンブローズ・スローン、ガイ・ガー・アリ、イーサン・ダイアー、ベナム・ネイシャブール
ヒョン・ウォン・チョン、レ・ホウ、シェイン・ロングプレ、バレット・ゾフ、イー・テイ、ウィリアム・フェダス、ユンシュアン・リー、シュエジ・ワン、モスタファ・デガニ、シッダールタ・ブラフマー、アルバート・ウェブソン、シーシアン・シェーン・グ、ズユン・ダイ、ミラック・スズガン、シンユン・チェン、アーカンクシャ・チョードリー、アレックス・カストロ＝ロス、マリー・ペラ、ケビン・ロビンソン、ダーシャ・バルター、シャラン・ナラン、ガウラフ・ミシュラ、アダムス・ユー、ヴィンセント・チャオ、ヤンピン・ファン、アンドリュー・ダイ、ホンクン・ユー、スラブ・ペトロフ、エド・H・チー、ジェフ・ディーン、ジェイコブ・デブリン、アダム・ロバーツ、デニー・チョウ、クオック・V.リー、ジェイソン・ウェイ
ロス・テイラー、マーシン・カーダス、ギレム・ククルル、トーマス・シャロム、アンソニー・ハーツホーン、エルヴィス・サラヴィア、アンドリュー・ポールトン、ヴィクトル・ケルケス、ロバート・ストジニッチ
ピン・ユー、ティアンルー・ワン、オルガ・ゴロヴネワ、バドル・アルハミッシ、ガルギ・ゴーシュ、モナ・ディアブ、アスリ・チェリキルマズ
エリック・ゼリクマン、ユーファイ・ウー、ジェシー・ムー、ノア・D・グッドマン
パトリック・ハルプツォク、マシュー・バウワーズ、アダム・タウマン・カライ
Jiaxin Huang、Shixiang Shane Gu、Le Hou、Yuexin Wu、Xuezhi Wang、Hongkun Yu、Jiawei Han
アーキル・パテル、サトウィク・バタミシュラ、ナビン・ゴヤル
ヤサマン・ラゼギ、ロバート・L・ローガンIV、マット・ガードナー、サミール・シン
ジエ・ファン、ハンイン・シャオ、ケビン・チェン・チュアン・チャン
カルティク・ヴァルミーカム、アルベルト・オルモ、サラス・スリーダラン、スッバラオ・カンバンパティ
ジェム・アニル、ユーファイ・ウー、アンダース・アンドレアッセン、アイトール・レウコウィッチ、ヴェダント・ミスラ、ヴィナイ・ラマシュ、アンブローズ・スローン、ガイ・ガー・アリ、イーサン・ダイアー、ベナム・ネイシャブール
イシタ・ダスグプタ、アンドリュー・K・ランピネン、ステファニー・CY・チャン、アントニア・クレスウェル、ダルシャン・クマラン、ジェームズ・L・マクレランド、フェリックス・ヒル
シメン・ハン、ヘイリー・シェルコップフ、イールン・チャオ、ジェンティン・チー、マーティン・リデル、ルーク・ベンソン、ルーシー・サン、エカテリーナ・ズボワ、ユージ・チャオ、マシュー・バーテル、デビッド・ペン、ジョナサン・ファン、イーシン・リウ、ブライアン・ウォン、マルコム・セイラー、アンソン・ニー、リニョン・ナン、河西淳悟、タオ・ユー、ルイ・チャン、シャフィク・ジョティ、アレクサンダー・R・ファッブリ、ヴォイチェフ・クリシンスキー、シー・ビクトリア・リン、カイミン・シオン、ドラゴミル・ラデフ
アブルハイル・サパロフ、ヘ・ヘ
ミラク・スズガン、ネイサン・スケールズ、ナサナエル・シャーリ、セバスティアン・ゲールマン、イー・テイ、ヒョン・ウォン・チョン、アーカンクシャ・チョードリー、クオック・V・リー、エド・H・チー、デニー・チョウ、ジェイソン・ウェイ
ローラ・ルイス、アクビル・カーン、ステラ・ビダーマン、サラ・フッカー、ティム・ロックテッシェル、エドワード・グレフェンステッテ
オルガ・ゴロヴネワ、モヤ・チェン、スペンサー・ポフ、マーティン・コレドール、ルーク・ゼトルモイヤー、マリアム・ファゼル=ザランディ、アスリ・チェリキルマズ
ボシ・ワン、セウォン・ミン、シャン・デン、ジアミン・シェン、ユー・ウー、ルーク・ゼトルモイヤー、ファン・サン
このリポジトリが役立つと思われる場合は、アンケートを引用してください。
@article{huang2022towards,
title={Towards Reasoning in Large Language Models: A Survey},
author={Huang, Jie and Chang, Kevin Chen-Chuan},
journal={arXiv preprint arXiv:2212.10403},
year={2022}
}
