the incredible pytorch

---

Il s'agit d'une liste organisée de didacticiels, de projets, de bibliothèques, de vidéos, d'articles, de livres et de tout ce qui concerne l'incroyable PyTorch. N'hésitez pas à faire une pull request pour contribuer à cette liste.

Table des matières

• Table des matières
  • Tutoriels
  • Grands modèles de langage (LLM)
  • Données tabulaires
  • Visualisation
  • Explicabilité
  • Détection d'objet
  • Reconnaissance à longue traîne/hors distribution
  • Fonctions d'activation
  • Apprentissage basé sur l'énergie
  • Données manquantes
  • Recherche d'architecture
  • Apprentissage continu
  • Optimisation
  • Quantification
  • Apprentissage automatique quantique
  • Compression du réseau neuronal
  • Reconnaissance du visage, des actions et des poses
  • Super résolution
  • Synthèse des vues
  • Voix
  • Médical
  • Segmentation, classification et régression 3D
  • Reconnaissance vidéo
  • Réseaux de neurones récurrents (RNN)
  • Réseaux de neurones convolutifs (CNN)
  • Segmentation
  • Apprentissage profond géométrique : graphiques et structures irrégulières
  • Tri
  • Réseaux d'équations différentielles ordinaires
  • Apprentissage multi-tâches
  • GAN, VAE et AE
  • Apprentissage non supervisé
  • Attaques contradictoires
  • Transfert de style
  • Sous-titrage des images
  • Transformateurs
  • Réseaux et fonctions de similarité
  • Raisonnement
  • PNL générale
  • Questions et réponses
  • Génération et reconnaissance vocale
  • Classification des documents et des textes
  • Génération de texte
  • Texte en image
  • Traduction
  • Analyse des sentiments
  • Apprentissage par renforcement profond
  • Apprentissage bayésien profond et programmation probabiliste
  • Augmentation des réseaux de neurones
  • Détection des anomalies
  • Types de régression
  • Série chronologique
  • Ensembles de données synthétiques
  • Améliorations générales du réseau neuronal
  • Applications DNN en chimie et physique
  • Nouvelle réflexion sur l'architecture générale des réseaux neuronaux
  • Algèbre linéaire
  • Abstraction de l'API
  • Utilitaires de bas niveau
  • Utilitaires PyTorch
  • Tutoriels vidéo PyTorch
  • Communauté
  • Être classé
  • Liens vers ce référentiel
  • Cotisations

Tutoriels

• Tutoriels officiels PyTorch
• Exemples officiels de PyTorch
• Plongez dans l'apprentissage profond avec PyTorch
• Mini-cours en Deep Learning avec PyTorch (multilingue)
• Apprentissage profond pratique avec PyTorch
• Modèles d'apprentissage profond
• Tutoriel d'implémentation C++ de PyTorch
• Exemples simples pour présenter PyTorch
• Mini didacticiels dans PyTorch
• Apprentissage profond pour la PNL
• Tutoriel d'apprentissage profond pour les chercheurs
• Réseaux entièrement convolutifs implémentés avec PyTorch
• Tutoriels PyTorch simples de zéro à TOUS
• Modèles DeepNLP-Pytorch
• Tutoriels de bienvenue MILA PyTorch
• PyTorch efficace, optimisation du temps d'exécution avec TorchScript et optimisation de la stabilité numérique
• PyTorch pratique
• Modèle de projet PyTorch
• Recherche sémantique avec PyTorch

Grands modèles de langage (LLM)

• Tutoriels LLM
  • Créer un grand modèle de langage (à partir de zéro)
  • Hugginface LLM Training Book, une collection de méthodologies pour aider à réussir la formation de grands modèles de langage
• Général
  • Starcoder 2, famille de modèles de génération de code
  • GPT Inférence de transformateur natif pytorch rapide, rapide et piratable
  • Mixtral Offloading, exécutez des modèles Mixtral-8x7B dans Colab ou sur des ordinateurs de bureau grand public
  • Lama
  • Recettes de lamas
  • Petit Lama
  • Transformateurs pré-entraînés Mosaic (MPT)
  • VLLM, moteur d'inférence et de service à haut débit et économe en mémoire pour les LLM
  • Chariot
  • Vigogne
  • Mistral7B
  • BigDL LLM, bibliothèque pour exécuter LLM (grand modèle de langage) sur Intel XPU (de l'ordinateur portable au GPU en passant par le Cloud) en utilisant INT4 avec une très faible latence1 (pour tout modèle PyTorch)
  • Réglage fin LLM simple
  • Petals, exécutez des LLM à la maison, de style BitTorrent, réglage fin et inférence jusqu'à 10 fois plus rapides que le déchargement
• japonais
  • Lama japonais
  • GPT Neox japonais et Open Calm
• Chinois
  • Lama chinois-2 7B
  • Vicogne chinoise
• Génération augmentée de récupération (RAG)
  • LlamaIndex, framework de données pour votre application LLM
• Intégrations
  • ChromaDB, base de données d'intégration open source
• Applications
  • Langchain, création d'applications avec des LLM grâce à la composabilité
• Réglage fin
  • Huggingface PEFT, réglage fin et efficace des paramètres de pointe
• Entraînement
  • Higgsfield, orchestration GPU hautement évolutive et tolérante aux pannes, et un cadre d'apprentissage automatique conçu pour former des modèles avec des milliards, voire des milliards de paramètres.
• Quantification
  • AutoGPTQ, package de quantification LLM facile à utiliser avec des API conviviales, basé sur l'algorithme GPTQ

Données tabulaires

• PyTorch Frame : un cadre modulaire pour l'apprentissage tabulaire multimodal
• Pytorch Tabular, cadre standard pour la modélisation de modèles de Deep Learning pour les données tabulaires
• Transformateur d'onglets
• PyTorch-TabNet : apprentissage tabulaire interprétable attentif
• carefree-learn : une solution minimale d'apprentissage automatique (AutoML) pour les ensembles de données tabulaires basée sur PyTorch

Visualisation

• Visualisation des pertes
• Grad-CAM : explications visuelles des réseaux profonds via une localisation basée sur les gradients
• Réseaux convolutionnels profonds : visualisation de modèles de classification d'images et de cartes de saillance
• SmoothGrad : supprimer le bruit en ajoutant du bruit
• DeepDream : des visuels hallucinogènes oniriques
• FlashTorch : boîte à outils de visualisation pour les réseaux de neurones dans PyTorch
• Lucent : Lucid adapté pour PyTorch
• DreamCreator : Entraîner des modèles GoogleNet pour DeepDream avec des ensembles de données personnalisés en toute simplicité
• Visualisation de la carte des fonctionnalités de CNN

Explicabilité

• Arbres de décision basés sur les neurones
• Estimation efficace de la covariance à partir de données temporelles
• Interprétations hiérarchiques pour les prédictions des réseaux neuronaux
• Shap, une approche unifiée pour expliquer le résultat de n'importe quel modèle d'apprentissage automatique
• Visualisation de modèles d'apprentissage profond .pth enregistrés par PyTorch avec Netron
• Distiller un réseau neuronal en un arbre de décision souple
• Captum, une bibliothèque d'interprétabilité de modèles unifiée pour PyTorch

Détection d'objet

• Boîte à outils de détection d'objets MMDetection
• Benchmark Mask R-CNN : R-CNN et Mask R-CNN plus rapides dans PyTorch 1.0
• YOLO-Monde
• YOLOS
• YOLOF
• YOLOX
• YOLOv10
• YOLOv9
• YOLOv8
• Yolov7
• YOLOv6
• Yolov5
• Yolov4
• YOLOv3
• YOLOv2 : Détection d'objets en temps réel
• SSD : détecteur MultiBox à prise unique
• Modèles Detectron pour la détection d'objets
• Reconnaissance de nombres à plusieurs chiffres à partir d'images Street View à l'aide de réseaux neuronaux à convolution profonde
• Détecteur de baleine
• Catalyseur.Détection

Reconnaissance à longue traîne/hors distribution

• Réseaux de neurones robustes sur le plan distributionnel pour les changements de groupe : sur l'importance de la régularisation pour la généralisation dans le pire des cas
• Minimisation des risques invariants
• Classificateur calibré en fonction de la confiance pour la détection des échantillons hors distribution
• Détection d'anomalies profondes avec exposition aux valeurs aberrantes
• Reconnaissance à grande échelle et longue traîne dans un monde ouvert
• Détection raisonnée d'exemples de non-distribution dans les réseaux de neurones
• Apprendre la confiance pour la détection hors distribution dans les réseaux de neurones
• Échantillonneur de classe déséquilibrée PyTorch

Fonctions d'activation

• Activations rationnelles - Fonctions d'activation rationnelle apprenables

Apprentissage basé sur l'énergie

• EBGAN, GAN basés sur l'énergie
• Générateurs d'entropie maximale pour les modèles basés sur l'énergie

Données manquantes

• BRITS : imputation récurrente bidirectionnelle pour les séries chronologiques

Recherche d'architecture

• EfficaceNetV2
• DenseNAS
• DARTS : Recherche d'architecture différenciable
• Recherche efficace d'architecture neuronale (ENAS)
• EfficientNet : repenser la mise à l'échelle des modèles pour les réseaux de neurones convolutifs

Apprentissage continu

• Renate, Recyclage Automatique des Réseaux de Neurones

Optimisation

• AccSGD, AdaBound, AdaMod, DiffGrad, Lamb, NovoGrad, RAdam, SGDW, Yogi et plus
• Lookahead Optimizer : k pas en avant, 1 pas en arrière
• RAdam, Sur la variance du taux d'apprentissage adaptatif et au-delà
• Over9000, comparaison de RAdam, Lookahead, Novograd et combinaisons
• AdaBound, s'entraîne aussi vite qu'Adam aussi bon que SGD
• Méthodes d'optimisation adaptative riemannienne
• L-BFGS
• OptNet : optimisation différenciable en tant que couche dans les réseaux de neurones
• Apprendre à apprendre par descente de pente par descente de pente
• Apprentissage par gradient de substitution dans les réseaux de neurones à pointe
• TorchOpt : une bibliothèque efficace pour une optimisation différenciable

Quantification

• Quantification additive puissance de deux : une discrétisation non uniforme efficace pour les réseaux de neurones

Apprentissage automatique quantique

• Tor10, bibliothèque générique de réseaux de tenseurs pour la simulation quantique dans PyTorch
• PennyLane, bibliothèque Python multiplateforme pour l'apprentissage automatique quantique avec l'interface PyTorch

Compression du réseau neuronal

• Compression bayésienne pour le Deep Learning
• Neural Network Distiller par Intel AI Lab : un package Python pour la recherche sur la compression des réseaux neuronaux
• Apprentissage des réseaux de neurones clairsemés grâce à la régularisation L0
• Compression à énergie limitée pour les réseaux de neurones profonds via une projection clairsemée pondérée et un masquage d'entrée de couche
• EigenDamage : élagage structuré dans la base propre à facteur de Kronecker
• Élagage des réseaux de neurones convolutifs pour une inférence efficace en ressources
• Élagage des réseaux de neurones : est-il temps de l’étouffer dans l’œuf ? (montrant que les réseaux réduits fonctionnent mieux)

Reconnaissance du visage, des actions et des poses

• Facenet : modèles de détection et de reconnaissance des visages Pytorch pré-entraînés
• DGC-Net : Réseau de correspondance géométrique dense
• Bibliothèque de reconnaissance faciale haute performance sur PyTorch
• FaceBoxes, un détecteur de visage en temps réel CPU avec une grande précision
• Jusqu’où sommes-nous de résoudre le problème de l’alignement des visages 2D et 3D ? (et un ensemble de données de 230 000 repères faciaux 3D)
• Apprentissage des caractéristiques spatio-temporelles avec des réseaux résiduels 3D pour la reconnaissance d'actions
• Estimation de pose multi-personnes en temps réel PyTorch
• SphereFace : intégration d'hypersphères profondes pour la reconnaissance faciale
• GAnimation : animation faciale anatomique à partir d'une seule image
• Shufflenet V2 par Face++ avec de meilleurs résultats que le papier
• Vers une estimation 3D de la pose humaine en milieu sauvage : une approche faiblement supervisée
• Apprentissage non supervisé de la profondeur et du mouvement de l'ego à partir de la vidéo
• FlowNet 2.0 : évolution de l'estimation du flux optique avec les réseaux profonds
• FlowNet : apprentissage du flux optique avec des réseaux convolutifs
• Estimation du flux optique à l'aide d'un réseau pyramidal spatial
• OpenFace dans PyTorch
• Reconnaissance faciale profonde dans PyTorch

Super résolution

• Réseaux résiduels profonds améliorés pour une super-résolution d'image unique
• Superrésolution utilisant un réseau neuronal convolutionnel efficace sous-pixel
• Pertes de perception pour le transfert de style en temps réel et la super-résolution

Synthèse des vues

• NeRF, Neural Radian Fields, synthèse de nouvelles vues de scènes complexes

Voix

• Google AI VoiceFilter : séparation ciblée de la voix par masquage de spectrogramme conditionné par le locuteur

Médical

• Medical Zoo, bibliothèque de segmentation d'images médicales multimodales 3D dans PyTorch
• U-Net pour la segmentation des anomalies FLAIR dans l'IRM cérébrale
• Classification génomique via ULMFiT
• Les réseaux de neurones profonds améliorent les performances des radiologues dans le dépistage du cancer du sein
• Delira, framework léger pour le prototypage d'imagerie médicale
• V-Net : réseaux de neurones entièrement convolutifs pour la segmentation volumétrique d'images médicales
• Medical Torch, framework d'imagerie médicale pour PyTorch
• TorchXRayVision - Une bibliothèque d'ensembles de données et de modèles de radiographie pulmonaire. Y compris des modèles pré-entraînés.

Segmentation, classification et régression 3D

• Kaolin, bibliothèque pour accélérer la recherche sur l'apprentissage profond 3D
• PointNet : Deep Learning sur les ensembles de points pour la classification et la segmentation 3D
• Segmentation 3D avec MONAI et Catalyst

Reconnaissance vidéo

• Danser sur de la musique
• Le diable est dans les limites : apprendre les limites sémantiques à partir d'annotations bruyantes
• Analyse vidéo approfondie
• PredRNN : réseaux de neurones récurrents pour l'apprentissage prédictif utilisant des LSTM spatio-temporels

Réseaux de neurones récurrents (RNN)

• SRU : entraîner les RNN aussi vite que les CNN
• Neurones ordonnés : intégration de structures arborescentes dans des réseaux de neurones récurrents
• Descente de gradient stochastique moyenne avec perte de poids LSTM
• Entraîner les RNN aussi rapidement que les CNN
• Réseau neuronal quasi-récurrent (QRNN)
• ReSeg : un modèle récurrent basé sur un réseau neuronal pour la segmentation sémantique
• Un modèle de variable latente récurrente pour les données séquentielles (VRNN)
• Représentations sémantiques améliorées à partir de réseaux de mémoire à long terme et à court terme structurés en arborescence
• Modèles de réseaux neuronaux récurrents basés sur l'attention pour la détection d'intentions conjointes et le remplissage des emplacements
• Comparateurs récurrents attentifs
• Collection de modèles séquence à séquence avec PyTorch
  1. Modèles de séquence à séquence Vanilla
  2. Modèles séquence à séquence basés sur l'attention
  3. Mécanismes d'attention plus rapides utilisant des produits scalaires entre les états cachés du codeur final et du décodeur

Réseaux de neurones convolutifs (CNN)

• LegoNet : réseaux de neurones convolutifs efficaces avec filtres Lego
• MeshCNN, un réseau neuronal convolutif conçu spécifiquement pour les maillages triangulaires
• Convolution d'octave
• Modèles d'image PyTorch, ResNet/ResNeXT, DPN, MobileNet-V3/V2/V1, MNASNet, NAS à chemin unique, FBNet
• Réseaux de neurones profonds avec convolutions en boîte
• Réseaux résiduels inversibles
• Sous-échantillonnage stochastique pour une inférence à coût réglable et une régularisation améliorée dans les réseaux convolutifs
• Mise en œuvre plus rapide de R-CNN
  • R-CNN plus rapide, une autre implémentation
• Accorder plus d'attention à l'attention : améliorer les performances des réseaux de neurones convolutifs via le transfert d'attention
• Modèle ResNet large dans PyTorch -DiracNets : formation de réseaux de neurones très profonds sans sauts de connexion
• Un réseau neuronal entraînable de bout en bout pour la reconnaissance de séquences basée sur l'image et son application à la reconnaissance de texte de scène
• Densenet efficace
• Interpolation d'image vidéo via convolution séparable adaptative
• Apprentissage de descripteurs de caractéristiques locales avec des triplets et des réseaux de neurones convolutifs peu profonds
• Réseaux convolutifs densément connectés
• Réseaux convolutifs très profonds pour la reconnaissance d'images à grande échelle
• SqueezeNet : précision de niveau AlexNet avec 50 fois moins de paramètres et une taille de modèle <0,5 Mo
• Apprentissage résiduel profond pour la reconnaissance d'images
• Formation de Wide ResNets pour CIFAR-10 et CIFAR-100 dans PyTorch
• Réseau convolutif déformable
• Tissus neuronaux convolutifs
• Réseaux convolutifs déformables dans PyTorch
• Combinaison ResNet dilatée avec convolutions dilatées
• En quête de simplicité : le réseau entièrement convolutif
• Réseau LSTM convolutif
• Grande collection de modèles de classification pré-entraînés
• Classification d'images PyTorch avec l'ensemble de données Kaggle Dogs vs Cats
• CIFAR-10 sur Pytorch avec VGG, ResNet et DenseNet
• Basez des modèles et des ensembles de données pré-entraînés dans pytorch (MNIST, SVHN, CIFAR10, CIFAR100, STL10, AlexNet, VGG16, VGG19, ResNet, Inception, SqueezeNet)
• Interpolation NVIDIA/vidéo non supervisée

Segmentation

• Detectron2 par FAIR
• Segmentation par pixel sur l'ensemble de données VOC2012 à l'aide de PyTorch
• Pywick - Bibliothèque de formation sur les réseaux neuronaux de haut niveau avec batteries incluses pour Pytorch
• Améliorer la segmentation sémantique via la propagation vidéo et la relaxation des étiquettes
• Super-BPD : Super direction limite-pixel pour une segmentation rapide des images
• Catalyseur.Segmentation
• Modèles de segmentation avec squelettes pré-entraînés

Apprentissage profond géométrique : graphiques et structures irrégulières

• PyTorch Géométrique, Extension d'apprentissage profond
• PyTorch Géométrique Temporel : Une bibliothèque d'extensions temporelles pour PyTorch Géométrique
• PyTorch géométrique signé réalisé : une bibliothèque d'extensions signée et dirigée pour PyTorch géométrique
• ChemicalX : une bibliothèque d'apprentissage profond basée sur PyTorch pour la notation des paires de médicaments
• Regroupement de graphiques d'auto-attention
• Réseaux de neurones graphiques sensibles à la position
• Réseau neuronal convolutif à graphique signé
• Graphique U-Nets
• Cluster-GCN : un algorithme efficace pour la formation de réseaux convolutifs à graphes profonds et de grande taille
• MixHop : architectures convolutives de graphes d'ordre supérieur via un mélange de quartiers sparsifiés
• Classification de graphes semi-supervisée : une perspective de graphes hiérarchiques
• PyTorch BigGraph de FAIR pour générer des intégrations à partir de données graphiques à grande échelle
• Réseau neuronal à graphique de capsule
• Splitter : représentations de nœuds d'apprentissage qui capturent plusieurs contextes sociaux
• Une couche convolutive de graphique d'ordre supérieur
• Prédire puis propager : les réseaux de neurones graphiques rencontrent le PageRank personnalisé
• Lorentz Embeddings : apprenez les hiérarchies continues dans l'espace hyperbolique
• Réseau neuronal d'ondelettes graphiques
• Surveillez vos pas : apprentissage de l'intégration de nœuds via l'attention graphique
• Réseau convolutif de graphes signés
• Classification de graphiques utilisant l'attention structurelle
• SimGNN : une approche de réseau neuronal pour le calcul rapide de similarité de graphiques
• SINE : intégration de réseau incomplète et évolutive
• HypER : intégrations de graphes de connaissances d'hyperréseau
• TuckER : Factorisation tensorielle pour l'achèvement du graphe de connaissances
• PyKEEN : une bibliothèque Python pour apprendre et évaluer les intégrations de graphes de connaissances
• Réseaux de découverte Pathfinder pour la transmission de messages neuronaux
• SSSNET : clustering de réseaux signés semi-supervisés
• MagNet : un réseau de neurones pour les graphiques dirigés
• PyTorch Geopooling : modules de pooling géospatial pour les réseaux de neurones dans PyTorch

Tri

• Optimisation stochastique des réseaux de tri via des relaxations continues

Réseaux d'équations différentielles ordinaires

• ODE latentes pour les séries chronologiques échantillonnées de manière irrégulière
• GRU-ODE-Bayes : modélisation continue de séries temporelles observées sporadiquement

Apprentissage multi-tâches

• Modèle d'apprentissage hiérarchique multitâche
• Apprentissage de modèles de bout en bout basé sur les tâches
• torchMTL : un module léger pour l'apprentissage multitâche dans pytorch

GAN, VAE et AE

• BigGAN : formation GAN à grande échelle pour la synthèse d'images naturelles haute fidélité
• Mesures de performances haute fidélité pour les modèles génératifs dans PyTorch
• Mimétisme, bibliothèque PyTorch pour la reproductibilité de la recherche GAN
• CycleGAN propre et lisible
• StarGAN
• Bloquer le flux neuronal autorégressif
• Synthèse d'images haute résolution et manipulation sémantique avec des GAN conditionnels
• Une architecture génératrice basée sur le style pour les réseaux adverses génératifs
• GANDissect, outil PyTorch pour visualiser les neurones dans les GAN
• Apprentissage de représentations profondes par estimation et maximisation mutuelles des informations
• Auto-encodeurs variationnels de Laplace
• VeGANS, bibliothèque pour former facilement les GAN
• Croissance progressive des GAN pour une qualité, une stabilité et une variation améliorées
• GAN conditionnel
• Wasserstein GAN
• Réseau générateur-encodeur contradictoire
• Traduction image à image avec des réseaux contradictoires conditionnels
• Traduction image à image non appariée à l'aide de réseaux contradictoires cohérents avec le cycle
• Sur les effets de la normalisation des lots et du poids dans les réseaux adverses génératifs
• Formation améliorée des GAN de Wasserstein
• Collection de modèles génératifs avec PyTorch
  • Réseaux contradictoires génératifs (GAN)
    1. GAN vanille
    2. GAN conditionnel
    3. InfoGAN
    4. Wasserstein GAN
    5. Mode GAN régularisé
  • Encodeur automatique variationnel (VAE)
    1. VAE Vanille
    2. VAE conditionnelle
    3. Débruitage VAE
    4. Encodeur automatique contradictoire
    5. Bayes variationnel contradictoire
• Formation améliorée des GAN de Wasserstein
• CycleGAN et GAN semi-supervisé
• Amélioration des auto-encodeurs variationnels à l'aide du flux de ménages et de l'utilisation d'un flux autorégressif inverse linéaire à combinaison convexe
• Collection PyTorch GAN
• Réseaux contradictoires génératifs, axés sur le dessin de visages d'anime
• Réseaux contradictoires génératifs simples
• Encodeurs automatiques contradictoires
• torchgan : Cadre de modélisation des réseaux adverses génératifs dans Pytorch
• Évaluation des taux de compression avec perte des modèles génératifs profonds
• Catalyseur.GAN
  1. GAN vanille
  2. GAN conditionnel
  3. Wasserstein GAN
  4. Formation améliorée des GAN de Wasserstein

Apprentissage non supervisé

• Apprentissage par intégration non supervisé via la fonctionnalité d'instance invariante et de propagation
• ET : Ancrer la découverte du quartier

Attaques contradictoires

• Les réseaux de neurones profonds sont facilement trompés : prédictions de haute confiance pour des images méconnaissables
• Expliquer et exploiter les exemples contradictoires
• AdverTorch - Une boîte à outils pour la recherche sur la robustesse contradictoire

Transfert de style

• Pystiche : cadre pour le transfert de style neuronal
• Détection d'exemples contradictoires via l'empreinte digitale neuronale
• Un algorithme neuronal du style artistique
• Réseau génératif multistyle pour le transfert en temps réel
• DeOldify, coloration d’images anciennes
• Transfert de style neuronal
• Transfert de style neuronal rapide
• Dessine comme Bob Ross

Sous-titrage des images

• CLIP (Pré-Formation Langage-Image Contrastive)
• Neuraltalk 2, modèle de sous-titrage d'images, dans PyTorch
• Générer des légendes à partir d'une image avec PyTorch
• DenseCap : réseaux de localisation entièrement convolutionnels pour le sous-titrage dense

Transformateurs

• L'attention est tout ce dont vous avez besoin
• Réseaux de transformateurs spatiaux

Réseaux et fonctions de similarité

• Réseaux de similarité conditionnelle

Raisonnement

• Déduire et exécuter des programmes pour le raisonnement visuel

PNL générale

• nanoGPT, référentiel le plus rapide pour la formation/le réglage des GPT de taille moyenne
• minGPT, réimplémentation de GPT pour qu'il soit petit, propre, interprétable et éducatif
• Espresso, module boîte à outils de reconnaissance vocale automatique neuronale
• Représentation de documents sensible aux étiquettes via une attention hybride pour une classification extrême de textes multi-étiquettes
• XLNet
• Converser en lisant : conversation neuronale contenue avec lecture automatique à la demande
• Pré-formation sur le modèle linguistique multilingue
• Libre Office Traduire via PyTorch NMT
• BERTE
• VSE++ : intégrations visuo-sémantiques améliorées
• Une intégration de phrases structurée et attentive à elle-même
• Modèle d'étiquetage de séquence neuronale
• Vecteurs de pensée sautée
• Suite complète pour la formation des modèles Seq2Seq dans PyTorch
• MUSE : intégrations multilingues non supervisées et supervisées
• TorchMoji : implémentation PyTorch de DeepMoji sous le langage utilisé pour exprimer les émotions

Questions et réponses

• Réponse visuelle aux questions dans Pytorch
• Lire Wikipédia pour répondre aux questions du domaine ouvert
• Accord ou pas d’accord ? Apprentissage de bout en bout pour les dialogues de négociation
• Comptage interprétable pour la réponse visuelle aux questions
• Chatbot open source avec PyTorch

Génération et reconnaissance vocale

• Boîte à outils de reconnaissance vocale PyTorch-Kaldi
• WaveGlow : un réseau génératif basé sur les flux pour la synthèse vocale
• OuvrirNMT
• Deep Speech 2 : reconnaissance vocale de bout en bout en anglais et en mandarin
• WeNet : boîte à outils de reconnaissance vocale de bout en bout Production First et Production Ready

Classification des documents et des textes

• Réseau d'attention hiérarchique pour la classification des documents
• Réseaux d'attention hiérarchique pour la classification des documents
• Classification de texte basée sur CNN

Génération de texte

• Génération de poésie Pytorch

Texte en image

• Diffusion stable
• Dall-E2
• Dall-E

Traduction

• Système de traduction automatique neuronale (NMT) open source (MIT)

Analyse des sentiments

• Réseaux de neurones récurrents pour l'analyse des sentiments (basée sur les aspects) sur SemEval 2014
• Analyse d'intention Seq2Seq
• Affiner le BERT pour l'analyse des sentiments

Apprentissage par renforcement profond

• L'augmentation de l'image est tout ce dont vous avez besoin : régulariser l'apprentissage par renforcement profond à partir des pixels
• Exploration par distillation aléatoire en réseau
• EGG : émergence du langage dans les jeux, mise en œuvre rapide de jeux multi-agents avec communication par canal discret
• Différence temporelle VAE
• Agent Atari A3C haute performance en 180 lignes PyTorch
• Apprendre quand communiquer à grande échelle dans le cadre de tâches coopératives et compétitives multi-agents
• Acteur-Attention-Critique pour l’apprentissage par renforcement multi-agents
• PPO dans PyTorch C++
• Apprentissage par renforcement pour la traduction automatique neuronale Bandit avec rétroaction humaine simulée
• Méthodes asynchrones pour l'apprentissage par renforcement profond
• Deep Q-Learning continu avec accélération basée sur des modèles
• Méthodes asynchrones pour l'apprentissage par renforcement profond pour Atari 2600
• Optimisation de la stratégie de région de confiance
• Optimisation combinatoire neuronale avec apprentissage par renforcement
• Réseaux bruyants pour l’exploration
• Optimisation des politiques proximales distribuées
• Modèles d'apprentissage par renforcement dans l'environnement ViZDoom avec PyTorch
• Modèles d'apprentissage par renforcement utilisant Gym et Pytorch
• SLM-Lab : cadre d'apprentissage modulaire par renforcement profond dans PyTorch
• Catalyseur.RL

Apprentissage bayésien profond et programmation probabiliste

• BatchBALD : acquisition par lots efficace et diversifiée pour l'apprentissage actif bayésien profond
• Inférence subspatiale pour l'apprentissage profond bayésien
• Package d'apprentissage profond bayésien avec inférence variationnelle
• Programmation probabiliste et inférence statistique dans PyTorch
• CNN bayésien avec inférence variationnelle dans PyTorch

Augmentation des réseaux de neurones

• Norse, bibliothèque pour l'apprentissage en profondeur avec les réseaux de neurones Spike

Détection des anomalies

• Détection d'anomalies comptables à l'aide de réseaux neuronaux Deep Autoencoder

Types de régression

• Régression quantile DQN

Série chronologique

• Réseau d'auto-attention double pour la prévision de séries chronologiques multivariées
• DILATE : perte de distorsion avec la forme et le temps
• Encodeur automatique récurrent variationnel pour le clustering de séries temporelles
• Réseaux de neurones spatio-temporels pour la modélisation de séries spatio-temporelles et la découverte de relations
• Flow Forecast : un cadre d'apprentissage profond pour la prévision de séries chronologiques intégré à PyTorch

Ensembles de données synthétiques

• Meta-Sim : apprendre à générer des ensembles de données synthétiques

Améliorations générales du réseau neuronal

• BatchNorm activé sur place pour la formation optimisée en mémoire des DNN
• S'entraîner plus longtemps, mieux généraliser : combler l'écart de généralisation dans la formation par lots de réseaux neuronaux
• FreezeOut : accélérez l'entraînement en gelant progressivement les couches
• Neurones stochastiques binaires
• Pooling bilinéaire compact
• Formation de précision mixte dans PyTorch

Applications DNN en chimie et physique

• La physique des vagues en tant que réseau neuronal récurrent analogique
• Transmission de messages neuronaux pour la chimie quantique
• Conception chimique automatique utilisant une représentation continue des molécules basée sur les données
• Apprentissage profond pour les processus physiques : intégration des connaissances scientifiques antérieures
• Simulation moléculaire différenciable pour l'apprentissage et le contrôle

Nouvelle réflexion sur l'architecture générale des réseaux neuronaux

• Complément de formation objectif
• Interfaces neuronales découplées à l'aide de gradients synthétiques

Algèbre linéaire

• Vecteurs propres à partir de valeurs propres

Abstraction de l'API

• Couches Torch, inférence de forme pour PyTorch, couches SOTA
• Hummingbird, exécutez des modèles scikit-learn formés sur GPU avec PyTorch

Utilitaires de bas niveau

• TorchSharp, API .NET avec accès à la bibliothèque sous-jacente alimentant PyTorch

Utilitaires PyTorch

• Functorch : prototype de transformateurs de fonctions composables de type JAX pour PyTorch
• Poutyne : cadre simplifié pour la formation des réseaux de neurones
• Apprentissage des métriques PyTorch
• Kornia : une bibliothèque de vision par ordinateur différenciable open source pour PyTorch
• BackPACK pour extraire facilement la variance, la diagonale de Gauss-Newton et KFAC
• PyHessian pour le calcul des valeurs propres de Hesse, trace de matrice et ESD
• Toile de jute dans PyTorch
• Couches convexes différenciables
• Albumentations : bibliothèque d'augmentation rapide des images
• Plus élevé, obtenez des gradients d'ordre supérieur sur les pertes couvrant les boucles d'entraînement
• Pipeline neuronal, pipeline de formation pour PyTorch
• Profileur de modèle PyTorch couche par couche pour vérifier la consommation de temps du modèle
• Distributions clairsemées
• Diffdist, ajoute la prise en charge de la communication différenciable permettant le parallélisme des modèles distribués
• HessianFlow, bibliothèque pour les algorithmes basés sur la Hesse
• Texar, boîte à outils PyTorch pour la génération de texte
• Compteur de FLOP PyTorch
• Inférence PyTorch sur C++ sous Windows
• EuclidesDB, base de données de fonctionnalités d'apprentissage automatique multimodèle
• Augmentation et échantillonnage des données pour Pytorch
• PyText, cadre de modélisation NLP basé sur l'apprentissage profond, officiellement maintenu par FAIR
• Torchstat pour les statistiques sur les modèles PyTorch
• Charger des fichiers audio directement dans PyTorch Tensors
• Initialisations de poids
• Transformateur spatial implémenté dans PyTorch
• PyTorch AWS AMI, exécutez PyTorch avec prise en charge GPU en moins de 5 minutes
• Utiliser un tensorboard avec PyTorch
• Module Simple Fit dans PyTorch, similaire à Keras
• torchbearer : Une bibliothèque d'ajustement de modèles pour PyTorch
• Convertisseur de modèle PyTorch en Keras
• Convertisseur de modèle Gluon vers PyTorch avec génération de code
• Catalyst : utilitaires de haut niveau pour la recherche PyTorch DL & RL
• PyTorch Lightning : cadre de recherche en apprentissage profond évolutif et léger
• Déterminé : plate-forme d'apprentissage en profondeur évolutive avec prise en charge de PyTorch
• PyTorch-Ignite : bibliothèque de haut niveau pour aider à la formation et à l'évaluation des réseaux de neurones dans PyTorch de manière flexible et transparente
• torchvision : un package composé d'ensembles de données populaires, d'architectures de modèles et de transformations d'images courantes pour la vision par ordinateur.
• Poutyne : un framework de type Keras pour PyTorch qui gère une grande partie du code passe-partout nécessaire à la formation des réseaux de neurones.
• torchensemble : méthodes d'ensemble similaires à Scikit-Learn dans PyTorch
• TorchFix - un linter pour le code utilisant PyTorch avec prise en charge de la correction automatique

Tutoriels vidéo PyTorch

• PyTorch zéro pour toutes les conférences
• Cours complet PyTorch pour l'apprentissage profond
• PyTorch Lightning 101 avec Alfredo Canziani et William Falcon
• Apprentissage profond pratique avec PyTorch

Communauté

• Forum de discussion PyTorch
• StackOverflow PyTorch Tags
• Catalyseur.Slack

Être classé

• Réseaux de neurones perturbateurs
• Potentiel précis du réseau neuronal
• Augmenter la transformation de diffusion : les réseaux hybrides profonds
• CortexNet : une famille de réseaux génériques pour des représentations visuelles temporelles robustes
• Réseaux de réponse orientée
• Réseaux de compression associatifs
• Clarinette
• Transformations en ondelettes continues
• confusion : au-delà de la minimisation empirique des risques
• Réseau dans le réseau
• Réseaux autoroutiers
• Informatique hybride utilisant un réseau de neurones avec mémoire externe dynamique
• Réseaux d'itérations de valeur
• Ordinateur neuronal différenciable
• Une représentation neuronale des dessins d'esquisse
• Comprendre les représentations d'images profondes en les inversant
• NIMA : évaluation de l'image neuronale
• NASNet-A-Mobile. Poids portés
• Modèle de génération de code graphique à l'aide de Processing

Liens vers ce référentiel

• Dépôt Github
• Site web

Cotisations

N'hésitez pas à contribuer !

Vous pouvez soulever un problème ou soumettre une pull request, selon ce qui vous convient le mieux. La ligne directrice est simple : suivez simplement le format du point précédent ou créez une nouvelle section s'il s'agit d'une nouvelle catégorie.