papers I read

読んだ論文

私は週に 1 紙という新しい取り組みに挑戦しています。このリポジトリには、これらすべての論文と関連する要約とメモが保管されます。

論文一覧

• Toolformer - 言語モデルはツールの使い方を自らに教えることができます
• コンピュータシステム設計のヒント
• タスクと環境間での転送と適応のための合成ポリシー
• YouTube レコメンデーション用のディープ ニューラル ネットワーク
• スケールの尻尾
• Facebook での広告クリック数の予測から得られる実践的な教訓
• 広告クリック予測 - 現場からの視点
• 壊滅的な忘却の構造 - 隠された表現とタスクのセマンティクス
• カリキュラムはいつ機能しますか?
• ハイパーネットワークによる継続的な学習
• タスク固有のアダプターの生成によるゼロショット学習
• ハイパーネットワーク
• 継続学習のためのエネルギーベースのモデル
• GPipe - マイクロバッチパイプライン並列処理による簡単なスケーリング
• ニューロンの構成的説明
• コンテナベースの分散システムの設計パターン
• Cassandra - 分散構造ストレージ システム
• CAP 12 年後 - ルールはどう変わったのか
• 最新の分散データベース システム設計における一貫性のトレードオフ
• シンプルなシャム表現学習の探索
• インターネット規模のシングル サインオンのためのデータ管理
• ビルド負債の検索 - Google での技術的負債の管理経験
• 必要なソリューションは 1 つだけではありません - 構造化 MaxEnt RL による少数ショット外挿
• 変更が難しい説明を学習する
• 正しい理由で思い出す - 説明により壊滅的な物忘れを減らす
• 転移学習の統合されたビュー
• 収穫、収量、およびスケーラブルな耐性システム
• MONet - 教師なしシーンの分解と表現
• エクスペリエンス リプレイの基礎を再考する
• 深層強化学習と致命的なトライアド
• Alpha Net: 分類器空間での構成による適応
• 法外に大規模なニューラル ネットワーク: まばらにゲートされた専門家の混合層
• マルチタスク学習のための勾配手術
• GradNorm: ディープ マルチタスク ネットワークにおける適応損失バランシングのための勾配正規化
• TaskNorm: メタ学習のためのバッチ正規化の再考
• 重みの平均化により、より広い最適化とより優れた一般化が実現します
• 分散強化学習: ローカルな経済取引を介したグローバルな意思決定
• 強化学習でパラメトリック モデルを使用するのはどのような場合ですか?
• ネットワークのランダム化 - 深層強化学習における一般化のための簡単な手法
• ウォームスタートニューラルネットワークトレーニングの難しさについて
• 教師あり対照学習
• CURL - 強化学習のための教師なし対照表現
• 独立した深層生成モデルの混合物の競争力のあるトレーニング
• 10,000 を超える画像カテゴリを分類すると何がわかるでしょうか?
• 混同 - 経験的なリスク最小化を超えて
• ELECTRA - テキストエンコーダーをジェネレーターではなくディスクリミネーターとして事前トレーニングする
• オンライン継続学習のための勾配ベースのサンプル選択
• あなたの分類器は密かにエネルギーベースのモデルなので、それを 1 つのモデルのように扱う必要があります
• 実用化された大規模多言語ニューラル機械翻訳 - 発見と課題
• 強化学習における観察的過学習
• 迅速な学習か機能の再利用か? MAML の有効性の理解に向けて
• 正確で大規模なミニバッチ SGD - 1 時間での ImageNet のトレーニング
• 多数のモデルを 1 つに重ね合わせる
• MDP のための国家抽象化の統一理論に向けて
• ALBERT - 言語表現の自己教師あり学習のための Lite BERT
• 学習済みモデルを使用した計画により、Atari、囲碁、チェス、将棋をマスターする
• 構造化世界モデルの対照学習
• Deep RL のためのゴシップベースのアクター学習者アーキテクチャ
• MAMLをトレーニングする方法
• PHYRE - 物理的推論の新しいベンチマーク
• プロダクト キーを備えた大規模なメモリ層
• アブダクティブな常識推論
• 確率力学モデルを使用した少数のトライアルにおける深層強化学習
• 深層強化学習における一般化の評価
• 強化学習における一般化の定量化
• Set Transformer: アテンションベースの順列不変ニューラル ネットワークのフレームワーク
• ニューラルネットワークにおける抽象推論の測定
• ハミルトニアン ニューラル ネットワーク
• 観察からの逆強化学習による次善の実証を超えた外挿
• 構造化探索戦略のメタ強化学習
• 関係強化学習
• 十分な組成データの拡張
• 複数のモデルベースの強化学習
• 継続的な学習のための自然なベンチマークを目指して
• 教師なし表現学習のメタ学習更新ルール
• GNN Explainer - グラフ ニューラル ネットワークの事後的な説明のためのツール
• チューニングするかチューニングしないか?事前トレーニングされた表現を多様なタスクに適応させる
• 原始的な階層型生涯強化学習のモデル化
• TuckER - ナレッジグラフを完成させるためのテンソル因数分解
• リカレント ニューラル ネットワークの記憶としての言語知識
• 必要なのは多様性だけ - 報酬機能のないスキルの学習
• モジュール型メタ学習
• 固有受容周期ポリシーのアンサンブルを使用した階層的 RL
• A-GEMで効率的な生涯学習i
• カーネルを使用したグラフ ニューラル ネットワークの事前トレーニング
• Deep Top-k 分類のための滑らかな損失関数
• 後知恵体験のリプレイ
• 双曲線埋め込みの表現トレードオフ
• スケーリングと汎用化を実現する学習型オプティマイザー
• メモリ拡張ニューラル ネットワークによるワンショット学習
• BabyAI - 人間が参加して地に足をつけた言語学習への第一歩
• 階層表現を学習するためのポアンカレ埋め込み
• 反復モデルを反復する必要がない場合
• HoME - 家庭用複合環境
• マルチエージェント集団におけるグラウンデッド構成言語の出現
• 記号知識を使用した深層学習のための意味損失関数
• 微分可能プーリングによる階層グラフ表現学習
• 深層強化学習のための想像力拡張エージェント
• クロネッカー繰り返し単位
• 独立した因果メカニズムの学習
• メモリベースのパラメータ適応
• 生まれ変わったニューラル ネットワーク
• Net2Net - 知識伝達による学習の加速
• 視覚的な質問に答えるために自然画像内のオブジェクトを数える方法を学ぶ
• 量子化学のためのニューラル メッセージ パッシング
• ノイズの予測による教師なし学習
• 宝くじの仮説 - プルーニングされたニューラル ネットワークのトレーニング
• ニューラル ネットワークをトレーニングするための循環学習率
• 強化学習による外部証拠の取得による情報抽出の向上
• 勾配ベースのニューラル ネットワークにおける壊滅的な忘却の実証的研究
• シングルビット監視から SAT ソルバーを学習する
• 相互作用するシステムのためのニューラルリレーショナル推論
• リカレントニューラルネットワークを用いた自然言語生成システムにおける文体伝達
• 要点を理解する: ポインタ生成ネットワークによる要約
• StarSpace - あらゆるものを埋め込みます!
• 感情的なチャットマシン - 内部および外部メモリを使用して感情的な会話を生成
• 画像質問応答のためのモデルとデータの探索
• ディープ ニューラル ネットワークの機能はどの程度転送可能ですか
• ニューラルネットワークで知識を抽出する
• グラフ埋め込みによる半教師あり学習の再考
• 機械理解における転移学習のための 2 段階合成ネットワーク
• 複雑なネットワークの高次組織
• ネットワーク モチーフ - 複雑なネットワークの単純な構成要素
• ガウス埋め込みによる単語表現
• HARP - ネットワークの階層表現学習
• Swish - セルフゲートアクティベーション機能
• ウィキペディアを読んでオープンドメインの質問に答える
• 強化学習を使用したタスク指向のクエリ再定式化
• ニューラル機械翻訳のための関係ネットワークを使用したソース表現の洗練
• ポインタネットワーク
• 単語の埋め込みをその場で計算する方法を学ぶ
• R-NET - 自己整合ネットワークによる機械読解
• ReasoNet - 機械理解における読書をやめる方法を学ぶ
• ニューラルネットワークにおける分布外サンプルの原理的な検出
• Ask Me Anything: 自然言語処理のための動的メモリ ネットワーク
• 1 つのモデルですべてを学習
• 構文問題に対する Word2Vec の 2 つの/あまりにも単純な適応
• 自然言語推論のための分解可能な注意モデル
• ニューラルネットワークを使用した高速かつ正確な依存関係パーサー
• ニューラルモジュールネットワーク
• VQA の V を重要にする: 視覚的な質問応答におけるイメージ理解の役割を高める
• 条件付き類似性ネットワーク
• 視覚的な質問に答えるためのシンプルなベースライン
• VQA: 視覚的な質問応答
• レビューの作成方法を学び、感情を発見する
• 時間の矢を見る
• 目標主導型で視覚に基づいた対話システムのエンドツーエンドの最適化
• 何だと思う？！マルチモーダルダイアログによる視覚オブジェクトの発見
• 言い換えによる意味解析
• ベクトル空間でのナレッジ グラフの走査
• PPDB: 言い換えデータベース
• NewsQA: 機械理解データセット
• ペルソナベースの神経会話モデル
• 「なぜあなたを信頼しなければならないのですか？」分類器の予測の説明
• 条件付き敵対的生成ネット
• ニューラル機械翻訳におけるまれな単語の問題に対処する
• ハイブリッド単語文字モデルによるオープン語彙ニューラル機械翻訳の実現
• センチメントツリーバンク上のセマンティック構成性のための再帰的深いモデル
• グローバルコンテキストと複数の単語プロトタイプによる単語表現の改善
• 統計的機械翻訳のための RNN エンコーダ - デコーダを使用したフレーズ表現の学習
• スキップ思考ベクトル
• 深い畳み込み生成敵対的ネット
• 敵対的生成ネット
• マシンインテリジェンスに向けたロードマップ
• スマート リプライ: 電子メールの自動応答提案
• 文分類のための畳み込みニューラル ネットワーク
• PixelCNN デコーダーによる条件付き画像生成
• ピクセルリカレントニューラルネットワーク
• 畳み込みネットワークの奥深く: 画像分類モデルと顕著性マップの視覚化
• 効率的なテキスト分類のためのコツが詰まったバッグ
• GloVe: 単語表現のためのグローバル ベクトル
• SimRank: 構造コンテキストの類似性の尺度
• 対話システムを評価してはいけない方法: 対話応答生成のための教師なし評価指標に関する実証研究
• 最小限のドメイン知識による自然言語からの正規表現のニューラル生成
• WikiReading : ウィキペディアを超える新しい大規模言語理解タスク
• WikiQA: オープンドメインの質問応答のためのチャレンジ データセット
• 機械に読んで理解するよう教える
• エンドツーエンドの対話システムを学習するための前提条件の評価
• リカレント ニューラル ネットワークの正則化
• Deep Math: 前提条件選択のためのディープ シーケンス モデル
• 神経会話モデル
• ドキュメントを直接読み取るための Key-Value メモリ ネットワーク
• リカレント ネットワークの最適化の進歩
• 機械理解のためのクエリ回帰ネットワーク
• ニューラルネットワークによるシーケンスツーシーケンス学習
• ディープアーキテクチャのトレーニングの難しさと教師なし事前トレーニングの効果
• サブグラフ埋め込みによる質問応答
• AI による完全な質問応答に向けて: 一連の前提条件となるおもちゃのタスク
• 大規模・高次元データの可視化
• t-SNEを使用したデータの可視化
• カリキュラム学習
• エンドツーエンドのメモリ ネットワーク
• メモリネットワーク
• 実行することを学ぶ
• Distributed GraphLab: クラウドでの機械学習とデータ マイニングのフレームワーク
• 大規模な分散型ディープネットワーク
• ベクトル空間における単語表現の効率的な推定
• エラスティックネットを介した正則化と変数選択
• フラクショナル最大プーリング
• TAO: Facebook のソーシャル グラフ用分散データ ストア
• バッチ正規化: 内部共変量シフトを削減してディープ ネットワーク トレーニングを加速する
• Twitter のデータ分析のための統合ログ インフラストラクチャ
• 機械学習について知っておくと役立ついくつかのこと
• Hive – Hadoop を使用したペタバイト規模のデータ ウェアハウス
• Kafka: ログ処理用の分散メッセージング システム
• 経験的データにおけるべき乗則分布
• Pregel: 大規模グラフ処理システム
• GraphX: データ並列分析とグラフ並列分析の統合
• 豚ラテン語: データ処理のためのあまり外国語ではない言語
• 復元力のある分散データセット: インメモリ クラスター コンピューティングのフォールト トレラントな抽象化
• MapReduce: 大規模クラスターでの簡素化されたデータ処理
• BigTable: 構造化データ用の分散ストレージ システム
• Spark SQL: Spark でのリレーショナル データ処理
• Spark: ワーキング セットを使用したクラスター コンピューティング
• ビッグデータ時代の高速データ: Twitter のリアルタイム関連クエリ提案アーキテクチャ
• Facebook での Memcache のスケーリング
• Dynamo: Amazon の高可用性 Key-Value ストア
• f4 : Facebook のウォーム BLOB ストレージ システム
• 理論家のためのアルゴリズムの実験的分析ガイド
• カッコーハッシング
• 終わりのない学び