the incredible pytorch

---

Esta é uma lista com curadoria de tutoriais, projetos, bibliotecas, vídeos, artigos, livros e qualquer coisa relacionada ao incrível PyTorch. Sinta-se à vontade para fazer uma solicitação pull para contribuir com esta lista.

Índice

• Índice
  • Tutoriais
  • Grandes Modelos de Linguagem (LLMs)
  • Dados tabulares
  • Visualização
  • Explicabilidade
  • Detecção de objetos
  • Reconhecimento de cauda longa/fora de distribuição
  • Funções de ativação
  • Aprendizagem Baseada em Energia
  • Dados ausentes
  • Pesquisa de Arquitetura
  • Aprendizagem Contínua
  • Otimização
  • Quantização
  • Aprendizado de máquina quântica
  • Compressão de Rede Neural
  • Reconhecimento facial, de ação e de pose
  • Super resolução
  • Sintetizando Visualizações
  • Voz
  • Médico
  • Segmentação, Classificação e Regressão 3D
  • Reconhecimento de vídeo
  • Redes Neurais Recorrentes (RNNs)
  • Redes Neurais Convolucionais (CNNs)
  • Segmentação
  • Aprendizado profundo geométrico: gráfico e estruturas irregulares
  • Classificando
  • Redes de Equações Diferenciais Ordinárias
  • Aprendizagem multitarefa
  • GANs, VAEs e AEs
  • Aprendizagem não supervisionada
  • Ataques adversários
  • Transferência de estilo
  • Legendagem de imagens
  • Transformadores
  • Redes e funções de similaridade
  • Raciocínio
  • PNL geral
  • Pergunta e resposta
  • Geração e reconhecimento de fala
  • Classificação de documentos e textos
  • Geração de Texto
  • Texto para imagem
  • Tradução
  • Análise de sentimento
  • Aprendizado por Reforço Profundo
  • Aprendizado Bayesiano Profundo e Programação Probabilística
  • Aumentando Redes Neurais
  • Detecção de anomalias
  • Tipos de regressão
  • Série temporal
  • Conjuntos de dados sintéticos
  • Melhorias gerais na rede neural
  • Aplicações DNN em Química e Física
  • Novo pensamento sobre arquitetura geral de redes neurais
  • Álgebra Linear
  • Abstração de API
  • Utilitários de baixo nível
  • Utilitários PyTorch
  • Tutoriais em vídeo PyTorch
  • Comunidade
  • Para ser classificado
  • Links para este repositório
  • Contribuições

Tutoriais

• Tutoriais oficiais do PyTorch
• Exemplos oficiais de PyTorch
• Mergulhe no aprendizado profundo com PyTorch
• Minicurso em Deep Learning com PyTorch (multilíngue)
• Aprendizado profundo prático com PyTorch
• Modelos de aprendizagem profunda
• Tutorial de implementação em C++ do PyTorch
• Exemplos simples para apresentar o PyTorch
• Minitutoriais em PyTorch
• Aprendizado profundo para PNL
• Tutorial de aprendizagem profunda para pesquisadores
• Redes totalmente convolucionais implementadas com PyTorch
• Tutoriais simples do PyTorch de zero a TODOS
• Modelos DeepNLP-Pytorch
• Tutoriais de boas-vindas do MILA PyTorch
• PyTorch eficaz, otimizando o tempo de execução com TorchScript e otimização de estabilidade numérica
• PyTorch prático
• Modelo de projeto PyTorch
• Pesquisa Semântica com PyTorch

Grandes Modelos de Linguagem (LLMs)

• Tutoriais LLM
  • Construa um grande modelo de linguagem (do zero)
  • Livro de treinamento Hugginface LLM, uma coleção de metodologias para ajudar no treinamento bem-sucedido de grandes modelos de linguagem
• Em geral
  • Starcoder 2, família de modelos de geração de código
  • GPT Inferência de transformador nativo pytorch rápida, rápida e hackeável
  • Mixtral Offloading, execute modelos Mixtral-8x7B em Colab ou desktops de consumo
  • Lhama
  • Receitas de lhama
  • TinyLlama
  • Transformadores pré-treinados em mosaico (MPT)
  • VLLM, mecanismo de inferência e serviço de alto rendimento e com uso eficiente de memória para LLMs
  • Boneca
  • Vicunha
  • Mistral 7B
  • BigDL LLM, biblioteca para execução de LLM (modelo de linguagem grande) em Intel XPU (de laptop a GPU e nuvem) usando INT4 com latência muito baixa1 (para qualquer modelo PyTorch)
  • Afinador LLM Simples
  • Petals, execute LLMs em casa, estilo BitTorrent, ajuste fino e inferência até 10x mais rápido do que descarregar
• japonês
  • Lhama Japonesa
  • GPT Neox japonês e Open Calm
• chinês
  • Lhamma-2 7B chinês
  • Vicunha Chinesa
• Geração Aumentada de Recuperação (RAG)
  • LlamaIndex, estrutura de dados para sua aplicação LLM
• Incorporações
  • ChromaDB, banco de dados de incorporação de código aberto
• Aplicativos
  • Langchain, construindo aplicativos com LLMs por meio de composição
• Afinação
  • Huggingface PEFT, ajuste fino com eficiência de parâmetros de última geração
• Treinamento
  • Higgsfield, orquestração de GPU altamente escalável e tolerante a falhas e uma estrutura de aprendizado de máquina projetada para treinar modelos com bilhões a trilhões de parâmetros
• Quantização
  • AutoGPTQ, pacote de quantização LLMs fácil de usar com APIs fáceis de usar, baseado no algoritmo GPTQ

Dados tabulares

• Quadro PyTorch: uma estrutura modular para aprendizagem tabular multimodal
• Pytorch Tabular, estrutura padrão para modelagem de modelos de aprendizado profundo para dados tabulares
• Transformador de guias
• PyTorch-TabNet: Aprendizagem Tabular Interpretável Atenta
• carefree-learn: uma solução mínima de aprendizado de máquina automático (AutoML) para conjuntos de dados tabulares baseados em PyTorch

Visualização

• Visualização de Perdas
• Grad-CAM: explicações visuais de redes profundas por meio de localização baseada em gradiente
• Deep Inside Convolutional Networks: Visualizando Modelos de Classificação de Imagens e Mapas de Saliência
• SmoothGrad: removendo ruído adicionando ruído
• DeepDream: visuais alucinógenos de sonho
• FlashTorch: kit de ferramentas de visualização para redes neurais em PyTorch
• Lucent: Lucid adaptado para PyTorch
• DreamCreator: treinamento de modelos do GoogleNet para DeepDream com conjuntos de dados personalizados simplificados
• Visualização do mapa de recursos da CNN

Explicabilidade

• Árvores de decisão baseadas em neurais
• Estimativa eficiente de covariância a partir de dados temporais
• Interpretações hierárquicas para previsões de redes neurais
• Shap, uma abordagem unificada para explicar o resultado de qualquer modelo de aprendizado de máquina
• Visualizando modelos de aprendizado profundo .pth salvos em PyTorch com netron
• Destilando uma rede neural em uma árvore de decisão suave
• Captum, uma biblioteca unificada de interpretabilidade de modelo para PyTorch

Detecção de objetos

• Caixa de ferramentas de detecção de objetos MMDetection
• Mask R-CNN Benchmark: R-CNN mais rápido e Mask R-CNN em PyTorch 1.0
• YOLO-Mundo
• YOLOS
• Yolof
• Yolox
• YOLOv10
• YOLOv9
• YOLOv8
• Yolov7
• YOLOv6
• Yolov5
• Yolov4
• YOLOv3
• YOLOv2: detecção de objetos em tempo real
• SSD: Detector MultiBox de disparo único
• Modelos Detectron para detecção de objetos
• Reconhecimento de números multidígitos a partir de imagens do Street View usando redes neurais convolucionais profundas
• Detector de baleias
• Detecção de Catalisador

Reconhecimento de cauda longa/fora de distribuição

• Redes neurais distributivamente robustas para mudanças de grupo: sobre a importância da regularização para a generalização no pior caso
• Minimização de risco invariante
• Treinamento de classificador calibrado com confiança para detecção de amostras fora de distribuição
• Detecção profunda de anomalias com exposição atípica
• Reconhecimento de cauda longa em grande escala em um mundo aberto
• Detecção baseada em princípios de exemplos fora de distribuição em redes neurais
• Aprendendo a confiar na detecção fora de distribuição em redes neurais
• Amostrador de classe desequilibrada PyTorch

Funções de ativação

• Ativações Racionais - Funções de Ativação Racional que podem ser aprendidas

Aprendizagem Baseada em Energia

• EBGAN, GANs baseados em energia
• Geradores de Entropia Máxima para Modelos Baseados em Energia

Dados ausentes

• BRITS: Imputação Recorrente Bidirecional para Séries Temporais

Pesquisa de Arquitetura

• EficienteNetV2
• DensoNAS
• DARTS: pesquisa de arquitetura diferenciável
• Pesquisa Eficiente de Arquitetura Neural (ENAS)
• EfficientNet: Repensando o dimensionamento de modelos para redes neurais convolucionais

Aprendizagem Contínua

• Renate, Retreinamento Automático de Redes Neurais

Otimização

• AccSGD, AdaBound, AdaMod, DiffGrad, Lamb, NovoGrad, RAdam, SGDW, Yogi e mais
• Otimizador Lookahead: k passos para frente, 1 passo para trás
• RAdam, Sobre a variação da taxa de aprendizagem adaptativa e além
• Over9000, comparação de RAdam, Lookahead, Novograd e combinações
• AdaBound, treine tão rápido quanto Adam e tão bom quanto SGD
• Métodos Riemannianos de Otimização Adaptativa
• L-BFGS
• OptNet: Otimização Diferenciável como Camada em Redes Neurais
• Aprendendo a aprender por descida gradiente por descida gradiente
• Aprendizado de gradiente substituto em redes neurais de aumento
• TorchOpt: uma biblioteca eficiente para otimização diferenciável

Quantização

• Quantização Aditiva de Potência de Dois: Uma Discretização Não Uniforme Eficiente para Redes Neurais

Aprendizado de máquina quântica

• Tor10, biblioteca genérica de rede tensorial para simulação quântica em PyTorch
• PennyLane, biblioteca Python multiplataforma para aprendizado de máquina quântica com interface PyTorch

Compressão de Rede Neural

• Compressão Bayesiana para Aprendizado Profundo
• Neural Network Distiller da Intel AI Lab: um pacote Python para pesquisa de compressão de redes neurais
• Aprendendo redes neurais esparsas por meio da regularização L0
• Compressão com restrição de energia para redes neurais profundas por meio de projeção esparsa ponderada e mascaramento de entrada de camada
• EigenDamage: Poda Estruturada na Eigenbasis Fatorada por Kronecker
• Podando redes neurais convolucionais para inferência com eficiência de recursos
• Podando redes neurais: é hora de cortar o mal pela raiz? (mostrando que redes reduzidas funcionam melhor)

Reconhecimento facial, de ação e de pose

• Facenet: modelos pré-treinados de detecção e reconhecimento facial Pytorch
• DGC-Net: Rede Densa de Correspondência Geométrica
• Biblioteca de reconhecimento facial de alto desempenho no PyTorch
• FaceBoxes, um detector facial em tempo real com CPU e alta precisão
• Quão longe estamos de resolver o problema do alinhamento facial 2D e 3D? (e um conjunto de dados de 230.000 pontos de referência faciais em 3D)
• Aprendendo recursos espaço-temporais com redes residuais 3D para reconhecimento de ações
• Estimativa de pose de várias pessoas em tempo real PyTorch
• SphereFace: incorporação de hiperesfera profunda para reconhecimento facial
• GANimation: Animação facial anatomicamente consciente a partir de uma única imagem
• Shufflenet V2 da Face++ com melhores resultados que papel
• Rumo à estimativa da pose humana em 3D na natureza: uma abordagem fracamente supervisionada
• Aprendizagem não supervisionada de profundidade e movimento do ego a partir de vídeo
• FlowNet 2.0: Evolução da estimativa de fluxo óptico com redes profundas
• FlowNet: Aprendendo fluxo óptico com redes convolucionais
• Estimativa de fluxo óptico usando uma rede de pirâmide espacial
• OpenFace em PyTorch
• Reconhecimento facial profundo em PyTorch

Super resolução

• Redes residuais profundas aprimoradas para super-resolução de imagem única
• Superresolução usando uma rede neural convolucional subpixel eficiente
• Perdas perceptivas para transferência de estilo em tempo real e super-resolução

Sintetizando Visualizações

• NeRF, campos de radianos neurais, sintetizando novas visualizações de cenas complexas

Voz

• Google AI VoiceFilter: separação de voz direcionada por mascaramento de espectrograma condicionado por alto-falante

Médico

• Medical Zoo, biblioteca de segmentação de imagens médicas multimodais 3D em PyTorch
• U-Net para segmentação de anormalidades FLAIR em ressonância magnética cerebral
• Classificação genômica via ULMFiT
• Redes Neurais Profundas Melhoram o Desempenho dos Radiologistas no Rastreio do Cancro da Mama
• Delira, estrutura leve para prototipagem de imagens médicas
• V-Net: redes neurais totalmente convolucionais para segmentação volumétrica de imagens médicas
• Medical Torch, estrutura de imagens médicas para PyTorch
• TorchXRayVision - Uma biblioteca para conjuntos de dados e modelos de radiografias de tórax. Incluindo modelos pré-treinados.

Segmentação, Classificação e Regressão 3D

• Kaolin, Biblioteca para Acelerar Pesquisas de Aprendizado Profundo em 3D
• PointNet: Aprendizado profundo em conjuntos de pontos para classificação e segmentação 3D
• Segmentação 3D com MONAI e Catalyst

Reconhecimento de vídeo

• Dançando com música
• O diabo está nos limites: aprendendo limites semânticos com anotações barulhentas
• Análise profunda de vídeo
• PredRNN: Redes Neurais Recorrentes para Aprendizagem Preditiva usando LSTMs Espaçotemporais

Redes Neurais Recorrentes (RNNs)

• SRU: treinando RNNs tão rápido quanto CNNs
• Neurônios ordenados: integrando estruturas de árvore em redes neurais recorrentes
• Descida gradiente estocástica média com perda de peso LSTM
• Treinando RNNs tão rápido quanto CNNs
• Rede Neural Quase Recorrente (QRNN)
• ReSeg: um modelo baseado em rede neural recorrente para segmentação semântica
• Um modelo de variável latente recorrente para dados sequenciais (VRNN)
• Representações semânticas aprimoradas de redes de memória de longo curto prazo estruturadas em árvore
• Modelos de redes neurais recorrentes baseados em atenção para detecção de intenção conjunta e preenchimento de slots
• Comparadores recorrentes atentos
• Coleção de modelos de sequência para sequência com PyTorch
  1. Modelos Vanilla Sequence to Sequence
  2. Modelos de sequência para sequência baseados em atenção
  3. Mecanismos de atenção mais rápidos usando produtos escalares entre os estados ocultos do codificador final e do decodificador

Redes Neurais Convolucionais (CNNs)

• LegoNet: redes neurais convolucionais eficientes com filtros Lego
• MeshCNN, uma rede neural convolucional projetada especificamente para malhas triangulares
• Convolução de oitava
• Modelos de imagem PyTorch, ResNet/ResNeXT, DPN, MobileNet-V3/V2/V1, MNASNet, NAS de caminho único, FBNet
• Redes Neurais Profundas com Convoluções em Caixa
• Redes Residuais Invertíveis
• Redução da amostragem estocástica para inferência com custo ajustável e regularização aprimorada em redes convolucionais
• Implementação R-CNN mais rápida
  • R-CNN mais rápido, outra implementação
• Prestando Mais Atenção à Atenção: Melhorando o Desempenho de Redes Neurais Convolucionais por meio da Transferência de Atenção
• Modelo ResNet amplo em PyTorch -DiracNets: treinando redes neurais muito profundas sem conexões saltadas
• Uma rede neural treinável de ponta a ponta para reconhecimento de sequência baseado em imagem e sua aplicação ao reconhecimento de texto de cena
• Densenet Eficiente
• Interpolação de quadros de vídeo via convolução separável adaptativa
• Aprendendo descritores de recursos locais com trigêmeos e redes neurais convolucionais superficiais
• Redes Convolucionais Densamente Conectadas
• Redes Convolucionais Muito Profundas para Reconhecimento de Imagens em Grande Escala
• SqueezeNet: precisão de nível AlexNet com 50x menos parâmetros e tamanho de modelo <0,5 MB
• Aprendizado residual profundo para reconhecimento de imagens
• Treinamento de ResNets amplos para CIFAR-10 e CIFAR-100 em PyTorch
• Rede Convolucional Deformável
• Tecidos Neurais Convolucionais
• Redes Convolucionais Deformáveis ​​em PyTorch
• Combinação ResNet dilatada com convoluções dilatadas
• Esforçando-se pela Simplicidade: A Rede Totalmente Convolucional
• Rede Convolucional LSTM
• Grande coleção de modelos de classificação pré-treinados
• Classificação de imagens PyTorch com conjunto de dados Kaggle Dogs vs Cats
• CIFAR-10 em Pytorch com VGG, ResNet e DenseNet
• Baseie modelos pré-treinados e conjuntos de dados em pytorch (MNIST, SVHN, CIFAR10, CIFAR100, STL10, AlexNet, VGG16, VGG19, ResNet, Inception, SqueezeNet)
• NVIDIA/interpolação de vídeo não supervisionada

Segmentação

• Detectron2 da FAIR
• Segmentação por pixel no conjunto de dados VOC2012 usando PyTorch
• Pywick - Biblioteca de treinamento de rede neural incluída com baterias de alto nível para Pytorch
• Melhorando a segmentação semântica por meio de propagação de vídeo e relaxamento de rótulos
• Super-BPD: direção super limite para pixel para segmentação rápida de imagens
• Catalisador.Segmentação
• Modelos de segmentação com backbones pré-treinados

Aprendizado profundo geométrico: gráfico e estruturas irregulares

• Extensão PyTorch Geométrica, Aprendizagem Profunda
• PyTorch Geometric Temporal: uma biblioteca de extensão temporal para PyTorch Geometric
• PyTorch Geometric Signed Directed: uma biblioteca de extensão assinada e direcionada para PyTorch Geometric
• ChemicalX: uma biblioteca de aprendizado profundo baseada em PyTorch para pontuação de pares de medicamentos
• Pool de gráficos de autoatenção
• Redes Neurais de Gráficos com Conhecimento de Posição
• Rede Neural Convolucional de Gráfico Assinado
• Gráfico U-Nets
• Cluster-GCN: um algoritmo eficiente para treinar redes convolucionais de grafos grandes e profundos
• MixHop: arquiteturas convolucionais de gráfico de ordem superior por meio de mixagem de vizinhança esparsa
• Classificação de gráfico semissupervisionado: uma perspectiva hierárquica de gráfico
• PyTorch BigGraph da FAIR para gerar embeddings a partir de dados gráficos em grande escala
• Rede Neural de Gráfico de Cápsula
• Divisor: representações de nós de aprendizagem que capturam vários contextos sociais
• Uma camada convolucional de gráfico de ordem superior
• Preveja e depois propague: redes neurais gráficas atendem ao PageRank personalizado
• Lorentz Embeddings: Aprenda hierarquias contínuas no espaço hiperbólico
• Rede Neural Wavelet de Gráfico
• Cuidado com o seu passo: aprendendo incorporações de nós por meio da atenção do gráfico
• Rede Convolucional de Gráfico Assinado
• Classificação de gráficos usando atenção estrutural
• SimGNN: uma abordagem de rede neural para computação rápida de similaridade de gráficos
• SINE: incorporação de rede incompleta escalonável
• HypER: incorporações do gráfico de conhecimento da hiperrede
• TuckER: fatoração de tensor para conclusão do gráfico de conhecimento
• PyKEEN: uma biblioteca Python para aprender e avaliar incorporações de gráficos de conhecimento
• Redes de descoberta Pathfinder para passagem de mensagens neurais
• SSSNET: Clustering de rede assinada semissupervisionada
• MagNet: uma rede neural para gráficos direcionados
• PyTorch Geopooling: Módulos de pooling geoespacial para redes neurais em PyTorch

Classificando

• Otimização estocástica de classificação de redes por meio de relaxações contínuas

Redes de Equações Diferenciais Ordinárias

• EDOs latentes para séries temporais com amostragem irregular
• GRU-ODE-Bayes: modelagem contínua de séries temporais observadas esporadicamente

Aprendizagem multitarefa

• Modelo hierárquico de aprendizagem multitarefa
• Aprendizagem de modelo ponta a ponta baseada em tarefas
• torchMTL: um módulo leve para aprendizagem multitarefa em pytorch

GANs, VAEs e AEs

• BigGAN: treinamento GAN em grande escala para síntese de imagens naturais de alta fidelidade
• Métricas de desempenho de alta fidelidade para modelos generativos em PyTorch
• Mimetismo, Biblioteca PyTorch para Reprodutibilidade da Pesquisa GAN
• Ciclo legível limpoGAN
• StarGAN
• Bloquear fluxo autorregressivo neural
• Síntese de imagens de alta resolução e manipulação semântica com GANs condicionais
• Uma arquitetura geradora baseada em estilo para redes adversárias generativas
• GANDissect, ferramenta PyTorch para visualização de neurônios em GANs
• Aprendendo representações profundas por estimativa e maximização de informações mútuas
• Autoencoders Laplace Variacionais
• VeGANS, biblioteca para treinar GANs facilmente
• Crescimento progressivo de GANs para melhor qualidade, estabilidade e variação
• GAN condicional
• Wasserstein GAN
• Rede Adversarial Gerador-Codificador
• Tradução imagem-imagem com redes adversárias condicionais
• Tradução não pareada de imagem para imagem usando redes adversárias consistentes com ciclo
• Sobre os efeitos da normalização de lote e peso em redes adversárias generativas
• Treinamento aprimorado de GANs Wasserstein
• Coleção de modelos generativos com PyTorch
  • Redes Adversariais Gerativas (GAN)
    1. Baunilha GAN
    2. GAN condicional
    3. InfoGAN
    4. Wasserstein GAN
    5. Modo GAN regularizado
  • Autoencodificador Variacional (VAE)
    1. Baunilha VAE
    2. VAE condicional
    3. Eliminação de ruído VAE
    4. Autoencodificador adversário
    5. Bayes Variacional Adversário
• Treinamento aprimorado de GANs Wasserstein
• CycleGAN e GAN semi-supervisionado
• Melhorando Auto-Encoders Variacionais usando Householder Flow e usando combinação convexa linear Inverse Autoregressive Flow
• Coleção PyTorch GAN
• Redes Adversariais Generativas, com foco em desenho de rostos de anime
• Redes Adversariais Generativas Simples
• Codificadores automáticos adversários
• torchgan: Estrutura para modelagem de redes adversárias generativas em Pytorch
• Avaliando taxas de compressão com perdas de modelos generativos profundos
• Catalisador.GAN
  1. Baunilha GAN
  2. GAN condicional
  3. Wasserstein GAN
  4. Treinamento aprimorado de GANs Wasserstein

Aprendizagem não supervisionada

• Aprendizagem de incorporação não supervisionada por meio de recurso de instância invariante e de propagação
• E: Descoberta do bairro âncora

Ataques adversários

• Redes Neurais Profundas são Facilmente Enganadas: Previsões de Alta Confiança para Imagens Irreconhecíveis
• Explicando e aproveitando exemplos adversários
• AdverTorch – Uma caixa de ferramentas para pesquisa de robustez adversária

Transferência de estilo

• Pystiche: estrutura para transferência de estilo neural
• Detectando exemplos adversários por meio de impressão digital neural
• Um algoritmo neural de estilo artístico
• Rede generativa multiestilo para transferência em tempo real
• DeOldify, colorindo imagens antigas
• Transferência de estilo neural
• Transferência rápida de estilo neural
• Desenhe como Bob Ross

Legendagem de imagens

• CLIP (Pré-treinamento de imagem-linguagem contrastiva)
• Neuraltalk 2, modelo de legendagem de imagens, em PyTorch
• Gere legendas de uma imagem com PyTorch
• DenseCap: redes de localização totalmente convolucionais para legendas densas

Transformadores

• Atenção é tudo que você precisa
• Redes de Transformadores Espaciais

Redes e funções de similaridade

• Redes de similaridade condicional

Raciocínio

• Inferindo e executando programas para raciocínio visual

PNL Geral

• nanoGPT, repositório mais rápido para treinamento/ajuste de GPTs de médio porte
• minGPT, reimplementação do GPT para ser pequeno, limpo, interpretável e educacional
• Espresso, kit de ferramentas de reconhecimento automático de fala neural do módulo
• Representação de documentos com reconhecimento de rótulo por meio de atenção híbrida para classificação extrema de texto com vários rótulos
• XLNet
• Conversando por meio da leitura: conversa neural com conteúdo com leitura automática sob demanda
• Pré-treinamento de modelo de linguagem multilíngue
• Tradução gratuita do Office via PyTorch NMT
• BERTO
• VSE++: incorporações visual-semânticas aprimoradas
• Uma incorporação estruturada de frases autoatentas
• Modelo de rotulagem de sequência neural
• Vetores ignorados
• Suíte completa para treinamento de modelos Seq2Seq em PyTorch
• MUSE: Embeddings multilíngues não supervisionados e supervisionados
• TorchMoji: Implementação PyTorch de DeepMoji para linguagem usada para expressar emoções

Pergunta e resposta

• Resposta visual a perguntas em Pytorch
• Lendo a Wikipedia para responder a perguntas de domínio aberto
• Acordo ou não acordo? Aprendizagem ponta a ponta para diálogos de negociação
• Contagem interpretável para resposta visual a perguntas
• Chatbot de código aberto com PyTorch

Geração e reconhecimento de fala

• Kit de ferramentas de reconhecimento de fala PyTorch-Kaldi
• WaveGlow: uma rede generativa baseada em fluxo para síntese de fala
• OpenNMT
• Deep Speech 2: Reconhecimento de fala ponta a ponta em inglês e mandarim
• WeNet: Kit de ferramentas de reconhecimento de fala de ponta a ponta pronto para produção e pronto para produção

Classificação de documentos e textos

• Rede Hierárquica de Atenção para Classificação de Documentos
• Redes Hierárquicas de Atenção para Classificação de Documentos
• Classificação de texto baseada em CNN

Geração de texto

• Geração de Poesia Pytorch

Texto para imagem

• Difusão Estável
• Dall-E 2
• Dall-E

Tradução

• Sistema de tradução automática neural (NMT) de código aberto (MIT)

Análise de sentimento

• Redes Neurais Recorrentes para Análise de Sentimentos (Baseada em Aspectos) no SemEval 2014
• Análise de intenção Seq2Seq
• Ajustando o BERT para análise de sentimento

Aprendizado por Reforço Profundo

• O aumento de imagem é tudo que você precisa: regularizando o aprendizado de reforço profundo a partir de pixels
• Exploração por Destilação em Rede Aleatória
• EGG: Emergência da linguagem em jogos, implemente rapidamente jogos multiagentes com canal de comunicação discreto
• Diferença Temporal VAE
• Agente Atari A3C de alto desempenho em 180 linhas PyTorch
• Aprendendo quando se comunicar em escala em tarefas cooperativas e competitivas multiagentes
• Ator-Atenção-Crítico para Aprendizagem por Reforço Multiagente
• PPO em PyTorch C++
• Aprendizado por reforço para tradução automática neural bandida com feedback humano simulado
• Métodos assíncronos para aprendizado por reforço profundo
• Q-Learning profundo e contínuo com aceleração baseada em modelo
• Métodos assíncronos para aprendizado por reforço profundo para Atari 2600
• Otimização de política de região de confiança
• Otimização Combinatória Neural com Aprendizado por Reforço
• Redes barulhentas para exploração
• Otimização de Política Proximal Distribuída
• Modelos de aprendizagem por reforço em ambiente ViZDoom com PyTorch
• Modelos de aprendizagem por reforço usando Gym e Pytorch
• SLM-Lab: estrutura modular de aprendizado de reforço profundo em PyTorch
• Catalisador.RL

Aprendizado Bayesiano Profundo e Programação Probabilística

• BatchBALD: Aquisição em lote eficiente e diversificada para aprendizagem ativa bayesiana profunda
• Inferência de Subespaço para Aprendizado Profundo Bayesiano
• Aprendizado Profundo Bayesiano com Pacote de Inferência Variacional
• Programação Probabilística e Inferência Estatística em PyTorch
• CNN Bayesiana com Inferência Variacional em PyTorch

Aumentando Redes Neurais

• Norse, Biblioteca para Aprendizado Profundo com Redes Neurais Spiking

Detecção de anomalias

• Detecção de anomalias contábeis usando redes neurais Deep Autoencoder

Tipos de regressão

• Regressão Quantílica DQN

Série temporal

• Rede dupla de autoatenção para previsão multivariada de séries temporais
• DILATE: Perda de distorção com forma e tempo
• Autoencoder recorrente variacional para cluster de série temporal
• Redes Neurais Espaço-Temporais para Modelagem de Séries Espaço-Temporais e Descoberta de Relações
• Previsão de fluxo: uma estrutura de aprendizado profundo para previsão de séries temporais construída em PyTorch

Conjuntos de dados sintéticos

• Meta-Sim: Aprendendo a gerar conjuntos de dados sintéticos

Melhorias gerais na rede neural

• BatchNorm ativado no local para treinamento de DNNs com otimização de memória
• Treine mais, generalize melhor: fechando a lacuna de generalização no treinamento em grandes lotes de redes neurais
• FreezeOut: Acelere o treinamento congelando camadas progressivamente
• Neurônios Estocásticos Binários
• Pool Bilinear Compacto
• Treinamento de precisão mista em PyTorch

Aplicações DNN em Química e Física

• Física das Ondas como uma Rede Neural Recorrente Analógica
• Passagem de mensagens neurais para química quântica
• Projeto químico automático usando uma representação contínua de moléculas baseada em dados
• Aprendizagem Profunda para Processos Físicos: Integrando Conhecimento Científico Prévio
• Simulação Molecular Diferenciável para Aprendizagem e Controle

Novo pensamento sobre arquitetura geral de redes neurais

• Complementar o treinamento objetivo
• Interfaces Neurais Desacopladas Usando Gradientes Sintéticos

Álgebra Linear

• Autovetores de autovalores

Abstração de API

• Camadas da tocha, inferência de forma para PyTorch, camadas SOTA
• Hummingbird, execute modelos scikit-learn treinados em GPU com PyTorch

Utilitários de baixo nível

• TorchSharp, API .NET com acesso à biblioteca subjacente que alimenta o PyTorch

Utilitários PyTorch

• Functorch: protótipo de transformadores de função composíveis semelhantes a JAX para PyTorch
• Poutyne: Estrutura Simplificada para Treinamento de Redes Neurais
• Aprendizado de métricas PyTorch
• Kornia: uma biblioteca de visão computacional diferenciável de código aberto para PyTorch
• BackPACK para extrair facilmente variância, diagonal de Gauss-Newton e KFAC
• PyHessian para calcular valores próprios de Hessian, traço de matriz e ESD
• Hessiano em PyTorch
• Camadas convexas diferenciáveis
• Albumentações: Biblioteca de aumento rápido de imagens
• Quanto maior, obtenha gradientes de ordem mais alta sobre perdas que abrangem loops de treinamento
• Pipeline Neural, Pipeline de Treinamento para PyTorch
• Perfilador de modelo PyTorch camada por camada para verificar o consumo de tempo do modelo
• Distribuições esparsas
• Diffdist, adiciona suporte para comunicação diferenciável, permitindo paralelismo de modelo distribuído
• HessianFlow, biblioteca para algoritmos baseados em Hessian
• Texar, PyTorch Toolkit para geração de texto
• Contador de FLOPs PyTorch
• Inferência PyTorch em C++ no Windows
• EuclidesDB, banco de dados de recursos de aprendizado de máquina multimodelo
• Aumento e amostragem de dados para Pytorch
• PyText, estrutura de modelagem de PNL baseada em aprendizado profundo mantida oficialmente pela FAIR
• Torchstat para estatísticas em modelos PyTorch
• Carregue arquivos de áudio diretamente em tensores PyTorch
• Inicializações de peso
• Transformador espacial implementado em PyTorch
• PyTorch AWS AMI, execute PyTorch com suporte de GPU em menos de 5 minutos
• Use tensorboard com PyTorch
• Módulo de ajuste simples em PyTorch, semelhante ao Keras
• torchbearer: uma biblioteca de ajuste de modelo para PyTorch
• Conversor de modelo PyTorch para Keras
• Conversor de modelo Gluon para PyTorch com geração de código
• Catalyst: utilitários de alto nível para pesquisa PyTorch DL e RL
• PyTorch Lightning: estrutura de pesquisa de aprendizado profundo escalonável e leve
• Determinado: plataforma escalável de aprendizagem profunda com suporte PyTorch
• PyTorch-Ignite: biblioteca de alto nível para ajudar no treinamento e avaliação de redes neurais em PyTorch de maneira flexível e transparente
• torchvision: um pacote que consiste em conjuntos de dados populares, arquiteturas de modelos e transformações de imagens comuns para visão computacional.
• Poutyne: Uma estrutura semelhante a Keras para PyTorch e lida com grande parte do código padrão necessário para treinar redes neurais.
• torchensemble: métodos de conjunto semelhantes ao Scikit-Learn no PyTorch
• TorchFix - um linter para código que usa PyTorch com suporte para correção automática

Tutoriais em vídeo PyTorch

• PyTorch Zero para todas as palestras
• Curso completo PyTorch para aprendizado profundo
• PyTorch Lightning 101 com Alfredo Canziani e William Falcon
• Aprendizado profundo prático com PyTorch

Comunidade

• Fórum de discussão PyTorch
• StackOverflow PyTorch Tags
• Catalisador.Slack

Para ser classificado

• Redes Neurais Perturbativas
• Potencial preciso de rede neural
• Dimensionando a transformação de dispersão: redes híbridas profundas
• CortexNet: uma família de redes genéricas para representações visuais temporais robustas
• Redes de Resposta Orientada
• Redes de Compressão Associativa
• Clarinete
• Transformadas Wavelet Contínuas
• confusão: além da minimização de riscos empíricos
• Rede em rede
• Redes Rodoviárias
• Computação híbrida usando uma rede neural com memória externa dinâmica
• Redes de iteração de valor
• Computador Neural Diferenciável
• Uma representação neural de desenhos de esboço
• Compreendendo as representações profundas de imagens, invertendo-as
• NIMA: Avaliação de Imagem Neural
• NASNet-A-Mobile. Pesos portados
• Modelo de geração de código gráfico usando Processing

Links para este repositório

• Repositório Github
• Site

Contribuições

Fique à vontade para contribuir!

Você pode levantar um problema ou enviar uma solicitação pull, o que for mais conveniente para você. A diretriz é simples: basta seguir o formato do marcador anterior ou criar uma nova seção se for uma nova categoria.