papers I read

내가 읽은 논문

나는 일주일에 한 장씩 새로운 계획을 시도하고 있습니다. 이 저장소에는 모든 논문과 관련 요약 및 메모가 보관됩니다.

논문 목록

• Toolformer - 언어 모델은 스스로 도구 사용 방법을 학습할 수 있습니다.
• 컴퓨터 시스템 설계를 위한 힌트
• 작업 및 환경 전반에 걸친 전송 및 적응을 위해 종합된 정책
• YouTube 추천을 위한 심층 신경망
• 대규모의 꼬리
• Facebook 광고 클릭 예측을 통한 실용적인 교훈
• 광고 클릭 예측 - 참호에서 본 전망
• 치명적인 망각의 해부학 - 숨겨진 표현 및 작업 의미론
• 커리큘럼은 언제 작동합니까?
• 하이퍼네트워크를 통한 지속적인 학습
• 작업별 어댑터 생성을 통한 제로샷 학습
• 하이퍼네트웍스
• 지속적인 학습을 위한 에너지 기반 모델
• GPipe - 마이크로 배치 파이프라인 병렬성을 통한 손쉬운 확장
• 뉴런의 구성 설명
• 컨테이너 기반 분산 시스템의 디자인 패턴
• Cassandra - 분산형 구조의 스토리지 시스템
• 12년 후 CAP - 규칙은 어떻게 바뀌었나요?
• 최신 분산 데이터베이스 시스템 설계의 일관성 절충
• 간단한 샴 표현 학습 탐색
• 인터넷 규모의 Single-Sign-On을 위한 데이터 관리
• Build Debt 검색 - Google의 기술 부채 관리 경험
• 하나의 솔루션이 필요한 전부는 아닙니다 - 구조화된 MaxEnt RL을 통한 Few-Shot 외삽법
• 다양하기 어려운 설명 학습
• 올바른 이유로 기억하기 - 설명은 치명적인 망각을 줄입니다
• 전이 학습에 대한 종합적인 관점
• 수확, 수확량 및 확장 가능한 관용 시스템
• MONet - 감독되지 않은 장면 분해 및 표현
• 경험 재생의 기본 사항 재검토
• 심층 강화 학습과 치명적인 3요소
• Alpha Net: 분류자 공간에서 구성을 사용한 적응
• 엄청나게 큰 신경망: 드물게 게이트된 전문가 혼합 계층
• 다중 작업 학습을 위한 경사 수술
• GradNorm: 심층 멀티태스크 네트워크의 적응형 손실 균형을 위한 경사 정규화
• TaskNorm: 메타 학습을 위한 배치 정규화 재고
• 평균 가중치를 사용하면 더 넓은 Optima와 더 나은 일반화가 가능합니다.
• 분산형 강화 학습: 지역 경제 거래를 통한 글로벌 의사결정
• 강화 학습에서 파라메트릭 모델을 언제 사용해야 합니까?
• 네트워크 무작위화 - 심층 강화 학습의 일반화를 위한 간단한 기술
• Warm-Starting 신경망 훈련의 난이도
• 지도 대조 학습
• CURL - 강화 학습을 위한 대조 비지도 표현
• 독립적인 심층 생성 모델의 혼합에 대한 경쟁적 훈련
• 10,000개가 넘는 이미지 카테고리를 분류하면 무엇을 알 수 있나요?
• mixup - 경험적 위험 최소화를 넘어서
• ELECTRA - 생성자가 아닌 판별자로 사전 훈련된 텍스트 인코더
• 온라인 연속 학습을 위한 기울기 기반 샘플 선택
• 귀하의 분류자는 비밀리에 에너지 기반 모델이므로 이를 하나처럼 취급해야 합니다.
• 대규모 다국어 신경 기계 번역 - 연구 결과 및 과제
• 강화 학습의 관찰 과적합
• 신속한 학습인가, 기능 재사용인가? MAML의 효과를 이해하기 위해
• 정확하고 대규모 미니배치 SGD - 1시간 만에 ImageNet 교육
• 여러 모델을 하나로 중첩
• MDP를 위한 국가 추상화의 통합 이론을 향하여
• ALBERT - 언어 표현의 자기 지도 학습을 위한 Lite BERT
• 학습된 모델을 통한 계획을 통해 Atari, Go, Chess 및 Shogi 마스터하기
• 구조화된 세계 모델의 대조 학습
• Deep RL을 위한 가십 기반 행위자-학습기 아키텍처
• MAML을 훈련하는 방법
• PHYRE - 물리적 추론을 위한 새로운 벤치마크
• 제품 키가 포함된 대용량 메모리 레이어
• 귀추적 상식 추론
• 확률적 역학 모델을 사용한 소수의 시험에서 심층 강화 학습
• 심층 강화 학습의 일반화 평가
• 강화 학습의 일반화 정량화
• 집합 변환기: 주의 기반 순열 불변 신경망을 위한 프레임워크
• 신경망에서 추상적 추론 측정
• 해밀턴 신경망
• 관찰로부터의 역 강화 학습을 통해 차선의 증명을 넘어 외삽
• 구조화된 탐색 전략의 메타 강화 학습
• 관계 강화 학습
• 충분한 구성 데이터 확대
• 다중 모델 기반 강화 학습
• 지속적인 학습을 위한 자연스러운 벤치마크를 향하여
• 비지도 표현 학습을 위한 메타 학습 업데이트 규칙
• GNN 설명자 - 그래프 신경망의 사후 설명을 위한 도구
• 튜닝할 것인가, 튜닝하지 않을 것인가? 사전 훈련된 표현을 다양한 작업에 적용
• 모델 원시 계층적 평생 강화 학습
• TuckER - 지식 그래프 완성을 위한 텐서 분해
• 순환 신경망을 위한 기억으로서의 언어 지식
• 다양성이 필요한 전부입니다 - 보상 기능이 없는 학습 기술
• 모듈형 메타러닝
• 고유수용성 주기 정책의 앙상블을 사용한 계층적 RL
• A-GEM을 통한 효율적인 평생 학습i
• 커널을 사용한 사전 훈련 그래프 신경망
• Deep Top-k 분류를 위한 평활 손실 함수
• 돌이켜보면 경험 다시보기
• 쌍곡선 임베딩에 대한 표현 트레이드오프
• 확장 및 일반화하는 학습된 최적화 도구
• 메모리 증강 신경망을 사용한 원샷 학습
• BabyAI - 인간과 함께하는 기초 언어 학습을 향한 첫 단계
• 계층적 표현 학습을 위한 푸앵카레 임베딩
• 반복 모델이 반복될 필요가 없는 경우
• HomeE - 가정용 다중 모드 환경
• 다중 에이전트 집단에서 기반 구성 언어의 출현
• 기호 지식을 이용한 딥러닝을 위한 의미 손실 함수
• 미분 풀링을 사용한 계층적 그래프 표현 학습
• 심층 강화 학습을 위한 상상력 증강 에이전트
• 크로네커 반복 단위
• 독립적인 인과 메커니즘 학습
• 메모리 기반 매개변수 적응
• 다시 태어난 신경망
• 지식 이전을 통한 Net2Net 가속화 학습
• 시각적 질문 답변을 위해 자연 이미지에서 개체 수를 계산하는 방법 학습
• 양자 화학을 위한 신경 메시지 전달
• 잡음 예측을 통한 비지도 학습
• 복권 가설 - 가지치기 신경망 훈련
• 신경망 훈련을 위한 순환 학습률
• 강화 학습을 통해 외부 증거를 획득하여 정보 추출 개선
• 경사 기반 신경망의 치명적인 망각에 대한 실증적 조사
• 단일 비트 감독에서 SAT 솔버 학습
• 상호작용 시스템에 대한 신경 관계 추론
• 순환 신경망을 사용한 자연어 생성 시스템의 문체 전달
• 요점 파악: 포인터 생성기 네트워크 요약
• StarSpace - 모든 것을 포함하세요!
• 감성채팅머신 - 내부기억과 외부기억을 이용한 감성대화 생성
• 이미지 질문 응답을 위한 모델 및 데이터 탐색
• 심층 신경망의 기능은 얼마나 이전 가능한가
• 신경망에서 지식 추출
• 그래프 임베딩을 사용한 준지도 학습 재검토
• 기계 이해의 전이 학습을 위한 2단계 합성 네트워크
• 복잡한 네트워크의 고차원적 조직
• 네트워크 모티브 - 복잡한 네트워크의 간단한 빌딩 블록
• 가우시안 임베딩을 통한 단어 표현
• HARP - 네트워크를 위한 계층적 표현 학습
• Swish - 자체 게이트 활성화 기능
• 오픈 도메인 질문에 답하기 위해 Wikipedia 읽기
• 강화 학습을 통한 작업 중심 쿼리 재구성
• 신경 기계 번역을 위한 관계 네트워크를 사용하여 소스 표현 개선
• 포인터 네트워크
• 즉석에서 단어 임베딩을 계산하는 방법 학습
• R-NET - 자체 매칭 네트워크를 사용한 기계 독해
• ReasoNet - 기계 이해에서 읽기를 중단하는 방법 학습
• 신경망에서 분포를 벗어난 사례의 원칙적인 탐지
• 무엇이든 물어보세요: 자연어 처리를 위한 동적 메모리 네트워크
• 모든 것을 배울 수 있는 하나의 모델
• 구문 문제에 대한 Word2Vec의 두 가지/너무 간단한 적용
• 자연어 추론을 위한 분해 가능한 주의 모델
• 신경망을 사용한 빠르고 정확한 종속성 파서
• 신경 모듈 네트워크
• VQA의 V 만들기: 시각적 질문 답변에서 이미지 이해의 역할 향상
• 조건부 유사성 네트워크
• 시각적 질문 응답을 위한 간단한 기준
• VQA: 시각적 질문 답변
• 리뷰 생성 및 감정 발견 학습
• 시간의 화살을 보다
• 목표 중심 및 시각적 기반 대화 시스템의 엔드투엔드 최적화
• 맞춰봐?! 다중 모드 대화를 통한 시각적 객체 발견
• 패러프레이징을 통한 의미 분석
• 벡터 공간에서 지식 그래프 탐색
• PPDB: 의역 데이터베이스
• NewsQA: 기계 이해 데이터세트
• 페르소나 기반 신경 대화 모델
• “내가 왜 당신을 믿어야 하나요?” 분류기의 예측 설명하기
• 조건부 생성 적대 네트워크
• 신경 기계 번역의 희귀 단어 문제 해결
• 하이브리드 단어-문자 모델을 사용하여 개방형 어휘 신경 기계 번역 달성
• 감정 트리뱅크에 대한 의미적 구성성을 위한 재귀 심층 모델
• 글로벌 컨텍스트 및 다중 단어 프로토타입을 통해 단어 표현 개선
• 통계적 기계 번역을 위해 RNN 인코더-디코더를 사용하여 구문 표현 학습
• 건너 뛰기 벡터
• 심층 합성곱 생성 적대 네트워크
• 생성적 적대 네트워크
• 기계 지능을 향한 로드맵
• 스마트 답장: 이메일에 대한 자동 응답 제안
• 문장 분류를 위한 컨벌루션 신경망
• PixelCNN 디코더를 사용한 조건부 이미지 생성
• 픽셀 순환 신경망
• Deep Inside Convolutional Networks: 이미지 분류 모델 및 돌출 맵 시각화
• 효율적인 텍스트 분류를 위한 백 오브 트릭
• GloVe: 단어 표현을 위한 전역 벡터
• SimRank: 구조적 맥락 유사성의 척도
• 대화 시스템을 평가하지 않는 방법: 대화 응답 생성을 위한 비지도 평가 지표에 대한 실증적 연구
• 최소한의 도메인 지식을 사용하여 자연어에서 정규식의 신경 생성
• WikiReading : Wikipedia를 통한 새로운 대규모 언어 이해 작업
• WikiQA: 오픈 도메인 질문 답변을 위한 챌린지 데이터 세트
• 읽고 이해하도록 기계를 가르치기
• 엔드투엔드 대화 시스템 학습을 위한 필수 조건 평가
• 순환 신경망 정규화
• 심층 수학: 전제 선택을 위한 심층 시퀀스 모델
• 신경 대화 모델
• 문서를 직접 읽기 위한 키-값 메모리 네트워크
• 순환 네트워크 최적화의 발전
• 기계 이해를 위한 쿼리 회귀 네트워크
• 신경망을 사용한 시퀀스 학습
• 딥 아키텍처 훈련의 어려움과 비지도 사전 훈련의 효과
• 하위 그래프 임베딩을 사용한 질문 답변
• AI-완전한 질문 답변을 향하여: 일련의 필수 장난감 작업
• 대규모 및 고차원 데이터 시각화
• t-SNE를 사용하여 데이터 시각화
• 커리큘럼 학습
• 엔드투엔드 메모리 네트워크
• 메모리 네트워크
• 실행 학습
• Distributed GraphLab: 클라우드의 머신 러닝 및 데이터 마이닝을 위한 프레임워크
• 대규모 분산 딥 네트워크
• 벡터 공간에서 단어 표현의 효율적인 추정
• 탄성망을 통한 정규화 및 변수 선택
• 부분 최대 풀링
• TAO: 소셜 그래프를 위한 Facebook의 분산 데이터 저장소
• 배치 정규화: 내부 공변량 이동을 줄여 심층 네트워크 훈련 가속화
• Twitter의 데이터 분석을 위한 통합 로깅 인프라
• 기계 학습에 대해 알아야 할 몇 가지 유용한 사항
• Hive – Hadoop을 사용하는 페타바이트 규모의 데이터 웨어하우스
• Kafka: 로그 처리를 위한 분산 메시징 시스템
• 경험적 데이터의 거듭제곱 분포
• Pregel: 대규모 그래프 처리를 위한 시스템
• GraphX: 데이터 병렬 분석과 그래프 병렬 분석 통합
• Pig Latin: 데이터 처리를 위한 외국어가 아닌 언어
• 탄력적인 분산 데이터 세트: 인메모리 클러스터 컴퓨팅을 위한 내결함성 추상화
• MapReduce: 대규모 클러스터에서 단순화된 데이터 처리
• BigTable: 구조화된 데이터를 위한 분산 스토리지 시스템
• Spark SQL: Spark의 관계형 데이터 처리
• Spark: 작업 세트를 사용한 클러스터 컴퓨팅
• 빅데이터 시대의 빠른 데이터: 트위터의 실시간 연관 검색어 제안 아키텍처
• Facebook에서 Memcache 확장
• Dynamo: Amazon의 고가용성 키-값 저장소
• f4 : Facebook의 Warm BLOB 스토리지 시스템
• 알고리즘의 실험적 분석에 대한 이론가를 위한 가이드
• 뻐꾸기 해싱
• 끝없는 배움