the incredible pytorch

---

이것은 놀라운 PyTorch와 관련된 튜토리얼, 프로젝트, 라이브러리, 비디오, 논문, 서적 및 모든 것을 선별한 목록입니다. 이 목록에 기여하려면 자유롭게 끌어오기 요청을 하세요.

목차

• 목차
  • 튜토리얼
  • 대형 언어 모델(LLM)
  • 표 형식 데이터
  • 심상
  • 설명 가능성
  • 객체 감지
  • 롱테일/배포 외 인식
  • 활성화 기능
  • 에너지 기반 학습
  • 누락된 데이터
  • 아키텍처 검색
  • 지속적인 학습
  • 최적화
  • 양자화
  • 양자 기계 학습
  • 신경망 압축
  • 얼굴, 동작 및 포즈 인식
  • 초해상도
  • 뷰 종합
  • 목소리
  • 의료
  • 3D 분할, 분류 및 회귀
  • 영상인식
  • 순환 신경망(RNN)
  • CNN(컨벌루션 신경망)
  • 분할
  • 기하학적 딥러닝: 그래프 및 불규칙 구조
  • 정렬
  • 상미분 방정식 네트워크
  • 다중 작업 학습
  • GAN, VAE 및 AE
  • 비지도 학습
  • 적대적 공격
  • 스타일 트랜스퍼
  • 이미지 캡션
  • 트랜스포머
  • 유사성 네트워크 및 기능
  • 추리
  • 일반 NLP
  • 질문과 답변
  • 음성 생성 및 인식
  • 문서 및 텍스트 분류
  • 텍스트 생성
  • 텍스트를 이미지로
  • 번역
  • 감성 분석
  • 심층 강화 학습
  • 딥 베이지안 학습 및 확률 프로그래밍
  • 스파이킹 신경망
  • 이상 탐지
  • 회귀 유형
  • 시계열
  • 합성 데이터 세트
  • 신경망 일반 개선
  • 화학 및 물리학의 DNN 애플리케이션
  • 일반 신경망 아키텍처에 대한 새로운 생각
  • 선형대수학
  • API 추상화
  • 낮은 수준의 유틸리티
  • PyTorch 유틸리티
  • PyTorch 비디오 튜토리얼
  • 지역 사회
  • 기밀로 분류됨
  • 이 저장소에 대한 링크
  • 기여

튜토리얼

• 공식 PyTorch 튜토리얼
• 공식 PyTorch 예제
• PyTorch를 통한 딥 러닝에 대해 알아보세요
• PyTorch를 사용한 딥 러닝 단기 강좌(다국어)
• PyTorch를 사용한 실용적인 딥러닝
• 딥러닝 모델
• PyTorch 튜토리얼의 C++ 구현
• PyTorch를 소개하는 간단한 예
• PyTorch의 미니 튜토리얼
• NLP를 위한 딥러닝
• 연구자를 위한 딥러닝 튜토리얼
• PyTorch로 구현된 완전 컨볼루셔널 네트워크
• 간단한 PyTorch 튜토리얼 Zero to ALL
• DeepNLP-모델-Pytorch
• MILA PyTorch 환영 튜토리얼
• 효과적인 PyTorch, TorchScript 및 수치 안정성 최적화를 통한 런타임 최적화
• 실용적인 PyTorch
• PyTorch 프로젝트 템플릿
• PyTorch를 사용한 의미 검색

대형 언어 모델(LLM)

• LLM 튜토리얼
  • 대규모 언어 모델 구축(처음부터)
  • 대규모 언어 모델의 성공적인 훈련에 도움이 되는 방법론 모음인 Hugginface LLM Training Book
• 일반적인
  • Starcoder 2, 코드 생성 모델 제품군
  • GPT 빠르고 해킹 가능한 Pytorch 네이티브 변환기 추론
  • Mixtral Offloading, Colab 또는 소비자 데스크탑에서 Mixtral-8x7B 모델 실행
  • 야마
  • 라마 요리법
  • 작은라마
  • 모자이크 사전 훈련된 변압기(MPT)
  • VLLM, 높은 처리량과 메모리 효율적인 추론 및 LLM용 서비스 엔진
  • 인형
  • 비쿠나
  • 미스트랄 7B
  • BigDL LLM, 대기 시간이 매우 짧은 INT4를 사용하여 Intel XPU(노트북에서 GPU, 클라우드까지)에서 LLM(대형 언어 모델)을 실행하기 위한 라이브러리1(모든 PyTorch 모델의 경우)
  • 단순 LLM 미세 조정기
  • Petals, 집에서 LLM 실행, BitTorrent 스타일, 오프로드보다 최대 10배 빠른 미세 조정 및 추론
• 일본어
  • 일본 라마
  • 일본 GPT Neox 및 Open Calm
• 중국인
  • 중국 라마-2 7B
  • 중국식 비쿠나
• 검색 증강 생성(RAG)
  • LlamaIndex, LLM 지원을 위한 데이터 프레임워크
• 임베딩
  • ChromaDB, 오픈 소스 임베딩 데이터베이스
• 응용
  • Langchain, 구성 가능성을 통해 LLM으로 애플리케이션 구축
• 미세 조정
  • Huggingface PEFT, 최첨단 매개변수 효율적인 미세 조정
• 훈련
  • Higgsfield, 내결함성, 확장성이 뛰어난 GPU 오케스트레이션 및 수십억에서 수조 개의 매개변수가 있는 모델을 훈련하기 위해 설계된 기계 학습 프레임워크
• 양자화
  • GPTQ 알고리즘을 기반으로 하는 사용자 친화적인 API를 갖춘 사용하기 쉬운 LLM 양자화 패키지인 AutoGPTQ

표 형식 데이터

• PyTorch 프레임: 다중 모드 테이블 형식 학습을 위한 모듈식 프레임워크
• Pytorch Tabular, 표 형식 데이터에 대한 딥 러닝 모델 모델링을 위한 표준 프레임워크
• 탭 변환기
• PyTorch-TabNet: 세심한 해석이 가능한 표 형식 학습
• carefree-learn: PyTorch를 기반으로 하는 테이블 형식 데이터 세트를 위한 최소 AutoML(자동 기계 학습) 솔루션

심상

• 손실 시각화
• Grad-CAM: 경사 기반 지역화를 통한 심층 네트워크의 시각적 설명
• Deep Inside Convolutional Networks: 이미지 분류 모델 및 돌출 맵 시각화
• SmoothGrad: 노이즈를 추가하여 노이즈 제거
• DeepDream: 꿈같은 환각 비주얼
• FlashTorch: PyTorch의 신경망을 위한 시각화 툴킷
• Lucent: PyTorch에 맞게 조정된 Lucid
• DreamCreator: 간편해진 맞춤 데이터세트로 DeepDream용 GoogleNet 모델 교육
• CNN 기능 맵 시각화

설명 가능성

• 신경 기반 의사 결정 트리
• 시간 데이터로부터 효율적인 공분산 추정
• 신경망 예측을 위한 계층적 해석
• 모든 기계 학습 모델의 결과를 설명하는 통합 접근 방식인 Shap
• netron을 사용하여 PyTorch에 저장된 .pth 딥 러닝 모델 시각화
• 신경망을 소프트 의사결정 트리로 추출
• Captum, PyTorch용 통합 모델 해석 라이브러리

객체 감지

• MMDetection 개체 감지 도구 상자
• Mask R-CNN 벤치마크: PyTorch 1.0에서 더 빠른 R-CNN 및 Mask R-CNN
• YOLO-세계
• 욜로스
• 욜로프
• 욜록스
• YOLOv10
• YOLOv9
• YOLOv8
• 욜로프7
• YOLOv6
• 욜로프5
• 욜로프4
• YOLOv3
• YOLOv2: 실시간 객체 감지
• SSD: 단일 샷 멀티박스 감지기
• 객체 감지를 위한 Detectron 모델
• 심층 합성곱 신경망을 사용한 스트리트 뷰 이미지의 여러 자리 숫자 인식
• 고래탐지기
• 촉매.검출

롱테일/배포 외 인식

• 그룹 교대를 위한 분산적으로 강력한 신경망: 최악의 경우 일반화를 위한 정규화의 중요성
• 불변 위험 최소화
• 분포를 벗어난 샘플을 탐지하기 위한 훈련 신뢰도 보정 분류기
• 이상치 노출을 통한 심층 이상 탐지
• 오픈 월드에서의 대규모 긴꼬리 인식
• 신경망에서 분포를 벗어난 사례의 원칙적인 탐지
• 신경망의 분포 이탈 감지에 대한 학습 신뢰도
• PyTorch 불균형 클래스 샘플러

활성화 기능

• Rational 활성화 - 학습 가능한 Rational 활성화 함수

에너지 기반 학습

• EBGAN, 에너지 기반 GAN
• 에너지 기반 모델의 최대 엔트로피 생성기

누락된 데이터

• BRITS: 시계열에 대한 양방향 순환 대치

아키텍처 검색

• EfficientNetV2
• 고밀도NAS
• DARTS: 미분 가능한 아키텍처 검색
• 효율적인 신경 아키텍처 검색(ENAS)
• EfficientNet: 컨볼루셔널 신경망에 대한 모델 스케일링 재고

지속적인 학습

• Renate, 신경망 자동 재훈련

최적화

• AccSGD, AdaBound, AdaMod, DiffGrad, Lamb, NovoGrad, RAdam, SGDW, Yogi 등
• 예측 최적화: k 단계 앞으로, 1 단계 뒤로
• RAdam, 적응형 학습률 및 그 이상의 변화에 ​​대하여
• Over9000, RAdam, Lookahead, Novograd 및 조합 비교
• AdaBound, SGD만큼 좋은 Adam만큼 빠르게 훈련
• 리만 적응형 최적화 방법
• L-BFGS
• OptNet: 신경망의 계층으로서 미분 가능한 최적화
• 경사하강법으로 학습하는 방법 경사하강법
• 스파이킹 신경망의 대리 경사 학습
• TorchOpt: 미분 가능한 최적화를 위한 효율적인 라이브러리

양자화

• 가산 2의 거듭제곱 양자화: 신경망을 위한 효율적인 비균일 이산화

양자 기계 학습

• PyTorch의 양자 시뮬레이션을 위한 일반 텐서 네트워크 라이브러리인 Tor10
• PyTorch 인터페이스를 사용한 양자 기계 학습을 위한 크로스 플랫폼 Python 라이브러리인 PennyLane

신경망 압축

• 딥러닝을 위한 베이지안 압축
• Intel AI Lab의 Neural Network Distiller: 신경망 압축 연구를 위한 Python 패키지
• L0 정규화를 통한 희소 신경망 학습
• 가중 희소 투영 및 레이어 입력 마스킹을 통한 심층 신경망의 에너지 제한 압축
• EigenDamage: 크로네커 요인 고유기초의 구조화된 가지치기
• 자원 효율적인 추론을 위한 컨벌루션 신경망 가지치기
• 신경망 가지치기: 이제 싹을 잘라낼 시간인가요? (축소된 네트워크가 더 잘 작동함을 보여줌)

얼굴, 동작 및 포즈 인식

• Facenet: 사전 훈련된 Pytorch 얼굴 감지 및 인식 모델
• DGC-Net: 조밀한 기하학적 대응 네트워크
• PyTorch의 고성능 얼굴 인식 라이브러리
• 정확도가 높은 CPU 실시간 얼굴 감지기 FaceBoxes
• 2D 및 3D 얼굴 정렬 문제를 해결하려면 얼마나 남았나요? (및 230,000개의 3D 얼굴 랜드마크 데이터세트)
• 동작 인식을 위한 3D 잔차 네트워크를 사용한 시공간 특징 학습
• PyTorch 실시간 다중 사람 포즈 추정
• SphereFace: 얼굴 인식을 위한 심층 하이퍼스피어 임베딩
• GANimation: 단일 이미지에서 해부학적으로 인식되는 얼굴 애니메이션
• 종이보다 더 나은 결과를 제공하는 Face++의 Shufflenet V2
• 야생에서의 3D 인간 자세 추정을 향하여: 약한 감독 방식
• 비디오의 깊이와 자아 움직임에 대한 비지도 학습
• FlowNet 2.0: 심층 네트워크를 통한 광학 흐름 추정의 진화
• FlowNet: 컨벌루션 네트워크를 통한 광학 흐름 학습
• 공간 피라미드 네트워크를 이용한 광학 흐름 추정
• PyTorch의 OpenFace
• PyTorch의 심층 얼굴 인식

초해상도

• 단일 이미지 초해상도를 위해 향상된 심층 잔차 네트워크
• 효율적인 하위 픽셀 컨벌루션 신경망을 사용한 초해상도
• 실시간 스타일 전송 및 초해상도에 대한 지각 손실

뷰 종합

• NeRF, Neural Radian Fields, 복잡한 장면에 대한 소설 뷰 합성

목소리

• Google AI VoiceFilter: 스피커 조건 스펙트로그램 마스킹을 통한 타겟 음성 분리

의료

• Medical Zoo, PyTorch의 3D 다중 모드 의료 영상 분할 라이브러리
• 뇌 MRI의 FLAIR 이상 분할을 위한 U-Net
• ULMFiT를 통한 게놈 분류
• 심층 신경망은 유방암 검진에서 방사선 전문의의 성과를 향상시킵니다.
• 의료 영상 프로토타이핑을 위한 경량 프레임워크 Delira
• V-Net: 체적 의료 영상 분할을 위한 완전 합성곱 신경망
• Medical Torch, PyTorch용 의료 영상 프레임워크
• TorchXRayVision - 흉부 X선 데이터 세트 및 모델용 라이브러리입니다. 사전 훈련된 모델을 포함합니다.

3D 분할, 분류 및 회귀

• 3D 딥러닝 연구 가속화를 위한 라이브러리, Kaolin
• PointNet: 3D 분류 및 분할을 위한 포인트 세트에 대한 딥 러닝
• MONAI 및 Catalyst를 사용한 3D 분할

영상인식

• 음악에 맞춰 춤을 추다
• 악마는 가장자리에 있다: 시끄러운 주석에서 의미 경계 학습
• 심층 비디오 분석
• PredRNN: 시공간 LSTM을 사용한 예측 학습을 위한 순환 신경망

순환 신경망(RNN)

• SRU: CNN만큼 빠르게 RNN 훈련
• 정렬된 뉴런: 트리 구조를 순환 신경망에 통합
• 가중치가 감소된 LSTM을 사용한 평균 확률적 경사하강법
• CNN만큼 빠르게 RNN 훈련하기
• 준순환 신경망(QRNN)
• ReSeg: 의미론적 분할을 위한 순환 신경망 기반 모델
• 순차 데이터에 대한 순환 잠재 변수 모델(VRNN)
• 트리 구조의 장단기 기억 네트워크의 향상된 의미 표현
• 공동 의도 탐지 및 슬롯 채우기를 위한 주의 기반 순환 신경망 모델
• 세심한 반복 비교기
• PyTorch를 사용한 시퀀스 대 시퀀스 모델 모음
  1. 바닐라 시퀀스 대 시퀀스 모델
  2. 주의 기반 Sequence to Sequence 모델
  3. 최종 인코더와 디코더 숨겨진 상태 사이의 내적을 사용하여 더 빠른 주의 메커니즘

CNN(컨벌루션 신경망)

• LegoNet: 레고 필터를 사용한 효율적인 컨볼루셔널 신경망
• MeshCNN은 삼각형 메쉬를 위해 특별히 설계된 컨볼루셔널 신경망입니다.
• 옥타브 컨볼루션
• PyTorch 이미지 모델, ResNet/ResNeXT, DPN, MobileNet-V3/V2/V1, MNASNet, 단일 경로 NAS, FBNet
• 박스 컨볼루션을 사용한 심층 신경망
• 가역적 잔여 네트워크
• 비용 조정 가능한 추론을 위한 확률적 다운샘플링 및 컨볼루셔널 네트워크의 정규화 개선
• 더욱 빨라진 R-CNN 구현
  • 더 빠른 R-CNN 또 다른 구현
• 주의에 더 많은 주의를 기울이기: 주의 전달을 통한 컨볼루션 신경망의 성능 향상
• PyTorch의 넓은 ResNet 모델 -DiracNets: 건너뛰기 연결 없이 매우 깊은 신경망 훈련
• 이미지 기반 시퀀스 인식을 위한 엔드투엔드 훈련 가능한 신경망 및 장면 텍스트 인식에의 적용
• 효율적인 Densenet
• 적응형 분리 가능 컨볼루션을 통한 비디오 프레임 보간
• 삼중항과 얕은 컨벌루션 신경망을 사용하여 로컬 특징 설명자 학습
• 조밀하게 연결된 컨벌루션 네트워크
• 대규모 이미지 인식을 위한 매우 깊은 컨벌루션 네트워크
• SqueezeNet: 50배 더 ​​적은 매개변수와 <0.5MB 모델 크기로 AlexNet 수준의 정확도
• 이미지 인식을 위한 심층 잔차 학습
• PyTorch에서 CIFAR-10 및 CIFAR-100에 대한 광범위한 ResNet 교육
• 변형 가능한 컨벌루션 네트워크
• 컨볼루션 신경망
• PyTorch의 변형 가능한 컨벌루션 네트워크
• Dilated Convolution과 Dilated ResNet의 결합
• 단순성을 위한 노력: All Convolutional Net
• 컨벌루션 LSTM 네트워크
• 사전 학습된 분류 모델의 대규모 컬렉션
• Kaggle Dogs와 Cats 데이터 세트를 사용한 PyTorch 이미지 분류
• VGG, ResNet 및 DenseNet을 사용하는 Pytorch의 CIFAR-10
• pytorch의 기본 사전 학습 모델 및 데이터세트(MNIST, SVHN, CIFAR10, CIFAR100, STL10, AlexNet, VGG16, VGG19, ResNet, Inception, SqueezeNet)
• NVIDIA/비지도 비디오 보간

분할

• FAIR의 Detectron2
• PyTorch를 사용하여 VOC2012 데이터 세트의 픽셀 단위 분할
• Pywick - Pytorch용 고급 배터리 포함 신경망 훈련 라이브러리
• 비디오 전파 및 레이블 완화를 통한 의미론적 분할 개선
• Super-BPD: 빠른 이미지 분할을 위한 슈퍼 경계-픽셀 방향
• 촉매.분할
• 사전 학습된 백본을 사용한 분할 모델

기하학적 딥러닝: 그래프 및 불규칙 구조

• PyTorch 기하학, 딥 러닝 확장
• PyTorch 기하학 임시: PyTorch 기하학을 위한 임시 확장 라이브러리
• PyTorch 기하학 Signed Directed: PyTorch 기하학을 위한 Signed & Directed 확장 라이브러리
• ChemicalX: 약물 쌍 채점을 위한 PyTorch 기반 딥 러닝 라이브러리
• 자기 주의 그래프 풀링
• 위치 인식 그래프 신경망
• 서명된 그래프 컨벌루션 신경망
• 그래프 U-Net
• Cluster-GCN: 심층 및 대형 그래프 컨벌루션 네트워크 훈련을 위한 효율적인 알고리즘
• MixHop: 희소화된 이웃 혼합을 통한 고차 그래프 컨벌루션 아키텍처
• 준지도 그래프 분류: 계층적 그래프 관점
• 대규모 그래프 데이터에서 임베딩을 생성하기 위한 FAIR의 PyTorch BigGraph
• 캡슐 그래프 신경망
• Splitter: 여러 사회적 맥락을 포착하는 학습 노드 표현
• 고차 그래프 컨벌루션 레이어
• 예측 후 전파: 그래프 신경망과 개인화된 PageRank의 만남
• 로렌츠 임베딩: 쌍곡선 공간에서 연속 계층 학습
• 그래프 웨이블릿 신경망
• 단계 조심하기: 그래프 어텐션을 통해 노드 임베딩 학습
• 서명된 그래프 컨벌루션 네트워크
• Structural Attention을 사용한 그래프 분류
• SimGNN: 빠른 그래프 유사성 계산을 위한 신경망 접근 방식
• SINE: 확장 가능한 불완전 네트워크 임베딩
• HypER: 하이퍼네트워크 지식 그래프 임베딩
• TuckER: 지식 그래프 완성을 위한 텐서 분해
• PyKEEN: 지식 그래프 임베딩을 학습하고 평가하기 위한 Python 라이브러리
• 신경 메시지 전달을 위한 패스파인더 발견 네트워크
• SSSNET: 준감독 서명 네트워크 클러스터링
• MagNet: 방향성 그래프를 위한 신경망
• PyTorch 지리 풀링: PyTorch의 신경망을 위한 지리 공간 풀링 모듈

정렬

• 연속 완화를 통한 정렬 네트워크의 확률적 최적화

상미분 방정식 네트워크

• 불규칙하게 샘플링된 시계열에 대한 잠재 ODE
• GRU-ODE-Bayes: 산발적으로 관찰되는 시계열의 연속 모델링

다중 작업 학습

• 계층적 다중 작업 학습 모델
• 작업 기반 엔드투엔드 모델 학습
• torchMTL: pytorch의 다중 작업 학습을 위한 경량 모듈

GAN, VAE 및 AE

• BigGAN: 고충실도 자연 이미지 합성을 위한 대규모 GAN 훈련
• PyTorch의 생성 모델에 대한 충실도 높은 성능 측정항목
• GAN 연구의 재현성을 위한 PyTorch 라이브러리인 Mimicry
• 깨끗한 읽기 가능한 사이클GAN
• StarGAN
• 신경 자기회귀 흐름 차단
• 조건부 GAN을 사용한 고해상도 이미지 합성 및 의미 조작
• 생성적 적대 신경망을 위한 스타일 기반 생성기 아키텍처
• GANDissect, GAN의 뉴런 시각화를 위한 PyTorch 도구
• 상호 정보 추정 및 극대화를 통한 심층 표현 학습
• 변형 라플라스 자동인코더
• GAN을 쉽게 훈련시킬 수 있는 라이브러리, VeGANS
• 향상된 품질, 안정성 및 변형을 위한 GAN의 점진적인 성장
• 조건부 GAN
• 바세르스타인 GAN
• 적대적 생성기-인코더 네트워크
• 조건부 적대 네트워크를 사용한 이미지 간 변환
• 주기 일관성 있는 적대 네트워크를 사용한 짝이 없는 이미지 간 변환
• 생성적 적대 신경망에서 배치 및 가중치 정규화의 효과
• Wasserstein GAN의 훈련 개선
• PyTorch를 사용한 생성 모델 컬렉션
  • 생성적 적대 네트워크(GAN)
    1. 바닐라 간
    2. 조건부 GAN
    3. InfoGAN
    4. 바세르스타인 GAN
    5. 모드 정규화된 GAN
  • VAE(변형 자동 인코더)
    1. 바닐라 VAE
    2. 조건부 VAE
    3. 잡음 제거 VAE
    4. 적대적 오토인코더
    5. 적대적 변이 베이즈
• Wasserstein GAN의 훈련 개선
• CycleGAN과 부분 감독 GAN
• Houseder Flow를 사용하고 볼록 조합 선형 역 자기 회귀 흐름을 사용하여 변이 자동 인코더 개선
• PyTorch GAN 컬렉션
• 애니메이션 얼굴 그리기에 초점을 맞춘 생성적 적대 신경망(Generative Adversarial Networks)
• 단순 생성적 적대 신경망
• 적대적 자동 인코더
• torchgan: Pytorch에서 생성적 적대 신경망(Generative Adversarial Network)을 모델링하기 위한 프레임워크
• 심층 생성 모델의 손실 압축률 평가
• 촉매.GAN
  1. 바닐라 간
  2. 조건부 GAN
  3. Wasserstein GAN
  4. Wasserstein GAN의 훈련 개선

비지도 학습

• 불변 및 확산 인스턴스 기능을 통한 비지도 임베딩 학습
• AND: 앵커 네이버후드 디스커버리

적대적 공격

• 심층 신경망은 쉽게 속습니다: 인식할 수 없는 이미지에 대한 높은 신뢰도 예측
• 적대적 사례를 설명하고 활용하기
• AdverTorch - 적대적 견고성 연구를 위한 도구 상자

스타일 트랜스퍼

• Pystiche: 신경 스타일 전송을 위한 프레임워크
• 신경 지문 인식을 통한 적대적 사례 탐지
• 예술적 스타일의 신경 알고리즘
• 실시간 전송을 위한 다중 스타일 생성 네트워크
• DeOldify, 오래된 이미지 색칠하기
• 신경 스타일 전송
• 빠른 신경 스타일 전송
• 밥 로스처럼 그리기

이미지 캡션

• CLIP(대조적 언어-이미지 사전 훈련)
• PyTorch의 Neuraltalk 2, 이미지 캡션 모델
• PyTorch를 사용하여 이미지에서 캡션 생성
• DenseCap: 고밀도 캡션을 위한 완전 컨볼루셔널 현지화 네트워크

트랜스포머

• 관심이 필요한 전부입니다
• 공간 변환기 네트워크

유사성 네트워크 및 기능

• 조건부 유사성 네트워크

추리

• 시각적 추론을 위한 프로그램 추론 및 실행

일반 NLP

• nanoGPT, 중간 규모 GPT 교육/미세 조정을 위한 가장 빠른 저장소
• minGPT, 작고, 깨끗하며, 해석 가능하고 교육적인 GPT 재구현
• Espresso, 모듈 신경 자동 음성 인식 툴킷
• 극도의 다중 라벨 텍스트 분류를 위한 Hybrid Attention을 통한 라벨 인식 문서 표현
• XLNet
• 읽기를 통한 대화: 주문형 기계 읽기를 통한 만족스러운 신경 대화
• 교차 언어 언어 모델 사전 훈련
• PyTorch NMT를 통한 Libre Office 번역
• 버트
• VSE++: 향상된 시각적 의미 임베딩
• 구조화된 자기 주의적 문장 임베딩
• 신경 서열 라벨링 모델
• 건너뛰기 벡터
• PyTorch에서 Seq2Seq 모델 훈련을 위한 완벽한 제품군
• MUSE: 다국어 비지도 및 감독 임베딩
• TorchMoji: 감정 표현에 사용되는 언어에 대한 DeepMoji의 PyTorch 구현

질문과 답변

• Pytorch의 시각적 질문 답변
• 오픈 도메인 질문에 답하기 위해 Wikipedia 읽기
• 거래인가, 아니면 노딜인가? 협상 대화를 위한 엔드투엔드 학습
• 시각적 질문 응답을 위한 해석 가능한 계산
• PyTorch를 사용한 오픈 소스 챗봇

음성 생성 및 인식

• PyTorch-Kaldi 음성 인식 툴킷
• WaveGlow: 음성 합성을 위한 흐름 기반 생성 네트워크
• 오픈NMT
• Deep Speech 2: 영어 및 중국어의 엔드투엔드 음성 인식
• WeNet: 생산 우선 및 생산 준비가 완료된 엔드투엔드 음성 인식 툴킷

문서 및 텍스트 분류

• 문서 분류를 위한 계층적 주의 네트워크
• 문서 분류를 위한 계층적 주의 네트워크
• CNN 기반 텍스트 분류

텍스트 생성

• Pytorch 시 세대

텍스트를 이미지로

• 안정적인 확산
• 달-E 2
• Dall-E

번역

• 오픈소스(MIT) 신경기계번역(NMT) 시스템

감성 분석

• SemEval 2014의 감정 분석(측면 기반)을 위한 순환 신경망
• Seq2Seq 의도 구문 분석
• 감정 분석을 위한 BERT 미세 조정

심층 강화 학습

• 이미지 확대가 필요한 전부: 픽셀에서 심층 강화 학습 정규화
• 무작위 네트워크 증류를 통한 탐색
• EGG: 게임 내 언어의 등장, 개별 채널 통신으로 멀티 에이전트 게임을 빠르게 구현
• 시간차 VAE
• 180줄 PyTorch의 고성능 Atari A3C 에이전트
• 다중 에이전트 협력 및 경쟁 작업에서 규모에 맞게 의사소통하는 시기 학습
• 다중 에이전트 강화 학습을 위한 배우-주의-비평가
• PyTorch C++의 PPO
• 시뮬레이션된 인간 피드백을 사용한 Bandit 신경 기계 번역을 위한 강화 학습
• 심층 강화 학습을 위한 비동기식 방법
• 모델 기반 가속을 통한 지속적인 심층 Q-학습
• Atari 2600의 심층 강화 학습을 위한 비동기식 방법
• 신뢰 영역 정책 최적화
• 강화 학습을 통한 신경 조합 최적화
• 탐색을 위한 시끄러운 네트워크
• 분산형 근접 정책 최적화
• PyTorch를 사용한 ViZDoom 환경의 강화 학습 모델
• Gym과 Pytorch를 이용한 강화 학습 모델
• SLM-Lab: PyTorch의 모듈식 심층 강화 학습 프레임워크
• 촉매.RL

딥 베이지안 학습 및 확률 프로그래밍

• BatchBALD: 딥 베이지안 능동 학습을 위한 효율적이고 다양한 배치 획득
• 베이지안 딥러닝을 위한 부분공간 추론
• 변형 추론 패키지를 사용한 베이지안 딥러닝
• PyTorch의 확률적 프로그래밍과 통계적 추론
• PyTorch에서 변형 추론을 사용하는 베이지안 CNN

스파이킹 신경망

• Norse, 스파이크 신경망을 사용한 딥 러닝용 라이브러리

이상 탐지

• 심층 오토인코더 신경망을 사용한 회계 이상 탐지

회귀 유형

• 분위수 회귀 DQN

시계열

• 다변량 시계열 예측을 위한 이중 Self-Attention 네트워크
• DILATE: 모양과 시간에 따른 왜곡 손실
• 시계열 클러스터링을 위한 Variational Recurrent Autoencoder
• 시공간 계열 모델링 및 관계 발견을 위한 시공간 신경망
• Flow Forecast: PyTorch에 구축된 시계열 예측 프레임워크를 위한 딥 러닝

합성 데이터 세트

• Meta-Sim: 합성 데이터 세트 생성 학습

신경망 일반 개선

• DNN의 메모리 최적화 교육을 위한 내부 활성화 BatchNorm
• 더 오래 훈련하고 더 효과적으로 일반화: 신경망의 대규모 배치 훈련에서 일반화 격차 해소
• FreezeOut: 레이어를 점진적으로 동결하여 훈련 가속화
• 이진 확률론적 뉴런
• 컴팩트 이중선형 풀링
• PyTorch의 혼합 정밀 훈련

화학 및 물리학의 DNN 애플리케이션

• 아날로그 순환 신경망으로서의 파동 물리학
• 양자 화학을 위한 신경 메시지 전달
• 데이터 중심의 분자 연속 표현을 사용한 자동 화학 설계
• 물리적 프로세스를 위한 딥 러닝: 이전 과학 지식 통합
• 학습 및 제어를 위한 미분 분자 시뮬레이션

일반 신경망 아키텍처에 대한 새로운 생각

• 목표 훈련 보완
• 합성 경사도를 사용한 분리된 신경 인터페이스

선형대수학

• 고유값의 고유벡터

API 추상화

• 토치 레이어, PyTorch에 대한 모양 추론, SOTA 레이어
• Hummingbird, PyTorch를 사용하여 GPU에서 훈련된 scikit-learn 모델 실행

낮은 수준의 유틸리티

• TorchSharp, PyTorch를 지원하는 기본 라이브러리에 액세스할 수 있는 .NET API

PyTorch 유틸리티

• Functorch: PyTorch용 JAX와 유사한 구성 가능 함수 변환기의 프로토타입
• Poutyne: 신경망 훈련을 위한 단순화된 프레임워크
• PyTorch 측정 학습
• Kornia: PyTorch용 오픈 소스 미분 가능 컴퓨터 비전 라이브러리
• 분산, 가우스-뉴턴의 대각선 및 KFAC를 쉽게 추출하는 BackPACK
• 헤세 고유값, 행렬 추적 및 ESD 계산을 위한 PyHessian
• PyTorch의 헤세 행렬
• 미분 가능한 볼록층
• 앨범화: 빠른 이미지 확대 라이브러리
• 높을수록 훈련 루프 전반의 손실에 대해 더 높은 차수의 기울기를 얻습니다.
• 신경 파이프라인, PyTorch용 훈련 파이프라인
• 모델 시간 소비를 확인하기 위한 계층별 PyTorch 모델 프로파일러
• 희소 분포
• Diffdist, 분산 모델 병렬 처리를 허용하는 미분 통신 지원 추가
• HessianFlow, 헤시안 기반 알고리즘용 라이브러리
• Texar, 텍스트 생성을 위한 PyTorch 툴킷
• PyTorch FLOP 카운터
• Windows의 C++에 대한 PyTorch 추론
• EuclidesDB, 다중 모델 기계 학습 기능 데이터베이스
• Pytorch를 위한 데이터 증강 및 샘플링
• FAIR에서 공식적으로 유지 관리하는 딥 러닝 기반 NLP 모델링 프레임워크인 PyText
• PyTorch 모델 통계를 위한 Torchstat
• 오디오 파일을 PyTorch Tensor에 직접 로드
• 가중치 초기화
• PyTorch에서 구현된 공간 변환기
• PyTorch AWS AMI, 5분 이내에 GPU 지원으로 PyTorch 실행
• PyTorch와 함께 텐서보드 사용
• Keras와 유사한 PyTorch의 Simple Fit 모듈
• torchbearer: PyTorch용 모델 피팅 라이브러리
• PyTorch-Keras 모델 변환기
• 코드 생성 기능을 갖춘 Gluon-PyTorch 모델 변환기
• Catalyst: PyTorch DL 및 RL 연구를 위한 고급 유틸리티
• PyTorch Lightning: 확장 가능하고 가벼운 딥 러닝 연구 프레임워크
• 결정됨: PyTorch를 지원하는 확장 가능한 딥 러닝 플랫폼
• PyTorch-Ignite: PyTorch에서 신경망을 유연하고 투명하게 훈련하고 평가하는 데 도움이 되는 고급 라이브러리
• torchvision: 널리 사용되는 데이터세트, 모델 아키텍처, 컴퓨터 비전을 위한 일반적인 이미지 변환으로 구성된 패키지입니다.
• Poutyne: PyTorch를 위한 Keras와 유사한 프레임워크이며 신경망을 훈련하는 데 필요한 많은 상용구 코드를 처리합니다.
• torchensemble: PyTorch의 앙상블 방법과 유사한 Scikit-Learn
• TorchFix - 자동 수정을 지원하는 PyTorch 사용 코드용 린터

PyTorch 비디오 튜토리얼

• 모든 강의에 대한 PyTorch Zero
• 딥 러닝을 위한 PyTorch 전체 과정
• Alfredo Canziani와 William Falcon이 함께한 PyTorch Lightning 101
• PyTorch를 사용한 실용적인 딥러닝

지역 사회

• PyTorch 토론 포럼
• StackOverflow PyTorch 태그
• Catalyst.Slack

기밀로 분류됨

• 섭동적 신경망
• 정확한 신경망 잠재력
• 산란 변환 확장: 심층 하이브리드 네트워크
• CortexNet: 강력한 시각적 시간 표현을 위한 일반 네트워크 제품군
• 지향적 응답 네트워크
• 연관 압축 네트워크
• 클라리넷
• 연속 웨이블릿 변환
• 혼동: 경험적 위험 최소화를 넘어서
• 네트워크 인 네트워크
• 고속도로 네트워크
• 동적 외부 메모리를 갖춘 신경망을 사용한 하이브리드 컴퓨팅
• 가치 반복 네트워크
• 미분 가능한 신경 컴퓨터
• 스케치 도면의 신경 표현
• 심층 이미지 표현을 반전하여 이해하기
• NIMA: 신경 이미지 평가
• NASNet-A-Mobile. 이식된 무게
• 프로세싱을 이용한 그래픽 코드 생성 모델

이 저장소에 대한 링크

• Github 저장소
• 웹사이트

기여

자유롭게 기여해 보세요!

문제를 제기하거나 끌어오기 요청을 제출하는 방법 중 더 편리한 방법을 선택하세요. 지침은 간단합니다. 이전 글머리 기호의 형식을 따르거나 새 카테고리인 경우 새 섹션을 만드세요.