dataengineering roadmap Télécharger - dataengineering roadmap Télécharger le code source

dataengineering roadmap

Code Source AI

1.0.0

Télécharger

Feuille de route 2024 - Ingénierie des données en espagnol

Un référentiel supplémentaire avec des concepts de base, des défis techniques et des ressources sur l'ingénierie des données en espagnol ?

Souhaitez-vous contribuer au référentiel ? Consultez le guide des contributions

Remarque : le parcours d'apprentissage suivant est conçu à votre discrétion personnelle dans le but de faciliter l'étude de ceux qui s'intéressent à l'ingénierie des données avec du matériel gratuit et gratuit en espagnol que j'ai trouvé sur Internet. Ce n'est pas un guide ou un cours définitif, c'est une liste de ressources qui peuvent être améliorées au fil du temps avec les contributions de la communauté.

Livres d'ingénierie des données en anglais

Modèles de conception pour DE en anglais

Illustration de la feuille de route

Programmation

Les bases

Nous commençons par comprendre les concepts fondamentaux de la programmation et de la logique. Cette section peut être développée simultanément à l'apprentissage du langage de programmation de votre choix.

Cours : Programmation de base Platzi
Vidéos : Introduction aux algorithmes et à la programmation TodoCode
Vidéos : exercices de pseudocode TodoCode
Vidéos : Ligne de commande Datademia
Vidéos : scripts Bash par Fazt
Lecture : Introduction à la ligne de commande et au shell Linux de Microsoft Learn

? Langage de programmation

Je recommande de commencer par Python en raison de sa courbe d'apprentissage conviviale et de sa prévalence dans l'industrie actuelle. Cependant, il est important de noter que le traitement des données peut également se faire avec R, Java, Scala, Julia, entre autres.

Vidéos : Python de 0 par PildorasInformáticas
Cours : Calcul scientifique avec Python de FreeCodeCamp
Cours : Algèbre universitaire avec Python de FreeCodeCamp
Cours : Introduction à la programmation avec Python de Harvard CS50 sous-titré par FreeCodeCamp
Cours : Python intermédiaire sous-titré de FreeCodeCamp
Cours : Kaggle Pandas
Vidéos : expressions régulières par Ada Lovecode
Vidéo : Principes de la programmation orientée objet BettaTech
Vidéos : la programmation orientée objet expliquée avec Minecraft par Absolute
Cours : Julia pour les gens pressés de Miguel Raz

Exceller

Contrôle de version avec Git

L'apprentissage du contrôle de version est non seulement précieux lorsque l'on travaille en équipe, mais il nous offre également la possibilité de suivre, de comprendre et de gérer les modifications apportées à notre projet et ainsi de maintenir un développement efficace et collaboratif.

Vidéo : Qu'est-ce que le contrôle de version et pourquoi est-il si important pour la programmation ? par Datademia
Cours : Git et Github par MoureDev
Vidéos : Git et Github par TodoCode
Lecture : Utiliser Git correctement par Attlasian
Jeu : Apprenez le branchement Git

Plus d'outils

Carnets : Google Collab, Jupyter ou Deepnote
Éditeurs de texte : VSCode, Spyder ou Google IDX

Bases de données

Les bases

Dans ce cas, il est temps de se renseigner sur les bases de données. Le choix du gestionnaire de base de données à utiliser est à votre discrétion, même si je recommande personnellement PostgreSQL pour les données structurées et MongoDB pour les données non structurées. Cependant, il existe de nombreuses autres options : MySQL, SQLite, etc.

Vidéos : Introduction aux bases de données TodoCode
Lecture : Différences entre DDL, DML et DCL de TodoPostgreSQL
Vidéo : Procédures stockées #1 par Héctor de León
Vidéo : Procédures stockées #2 par Héctor de León
Vidéo : MongoDB par Fazt
Vidéos : MongoDB par MitoCode

SQL

Vous apprendrez également SQL, un langage de requête permettant de gérer et de manipuler des bases de données relationnelles.

Vidéos : SQL de Data Engineering LATAM
Introduction à SQL par Kaggle
Kaggle SQL avancé

? Conception

Nous passons maintenant à des concepts plus avancés qui nous aideront à concevoir des bases de données, des lacs de données, des entrepôts de données, des schémas, etc.

Vidéo : Quand utiliser SQL et quand utiliser NoSQL ? par Hector de León
Vidéo : Comment les bases de données NoSQL sont-elles modélisées ? de BonjourMonde
Lecture : Bases de données orientées graphique Oracle
Vidéo : bases de données graphiques, principes fondamentaux et pratique du Datahack

Mégadonnées

La prochaine étape est de comprendre certains concepts du Big Data. De plus, il est intéressant d’acquérir des connaissances de base en matière d’intelligence artificielle, de business intelligence et d’analyse de données sans avoir besoin d’approfondir.

Les bases

Vidéo : Big Data pour les nuls Datahack
Lecture : Big Data : qu’est-ce que c’est et comment cela aide-t-il mon entreprise ? de Salesforce
Certification : Concevoir et programmer des solutions IoT avec l'utilisation du Big Data de l'Université del Rosario
Certification : Big Data de l'Université de Californie à San Diego
Vidéo : Confidentialité du Big Data et des Databits
Vidéos : Gouvernance des données intelligentes
Vidéo : Comment démarrer avec la gouvernance des données sans dépasser le budget par Software Guru

Analyse et exploration des données

Certification : Fondements professionnels de l'analyse de données, de Microsoft et LinkedIn
Certification : Certificat professionnel Google Data Analytics
Certification : Certificat professionnel IBM Data Analyst
Cours : Analyse de données avec Python de FreeCodeCamp
Vidéo : Storytelling : Comment transformer votre contenu en histoire ? par Coderhouse

Statistiques

? Intelligence artificielle

Cours : Apprentissage automatique avec Python de FreeCodeCamp
Chaîne : LearnIA avec Ligdi Gonzalez
Vidéos : apprenez l'intelligence artificielle à partir de Dot CSV
Vidéo : Comment utiliser ChatGPT dans l'ingénierie des données Datalytics
Cours : Intelligence Artificielle sous-titré de l'Université de Columbia

? intelligence d'affaires

Vidéos : Certificat Google Business Intelligence sous-titré de Google Career
Vidéos : La Business Intelligence pour tous ! par PEALCALA

Visualisation des données

Informatique

Dans cette section se trouve le cœur de l'ingénierie des données, nous verrons ce que sont les pipelines de données, ce qu'est un ETL, les orchestrateurs, et plus encore. De plus, je laisse une liste de concepts clés que je mettrai à jour avec leurs ressources respectives à l'avenir. Si vous souhaitez les apprendre en détail, vous pouvez rechercher les livres téléchargés dans le référentiel.

Chaîne : CodinÉric
Canal : Ingénierie des données LATAM
Chaîne : Datadémie
Canal : Datalytics
Blog : Démarrer (anglais)
Plateforme d'apprentissage DataWars

? ETL et pipelines de données

Vidéo : Ingénierie des données : voyage au cœur des projets de données RockingData
Vidéo : Comment devenir un vrai Data Engineer ? par Databits
Vidéos : Prétraitement des données en Python par Rocio Chavez
Vidéos : Prétraitement des données dans R par Rocio Chavez
Vidéo : Tests A/B : des données, pas des opinions de SantanDev
Charges incrémentielles
Files d'attente de messagerie
Expressions Cron

❄️ Bases de données avancées

Modèle relationnel
Modèle dimensionnel
Faits et dimensions
Datalake, Datamart, Datawarehouse et Dataqube
Disposition basée sur des colonnes et des lignes
Schémas d'étoiles et de flocons de neige
Sur les schémas de lecture et d'écriture

? Orchestrateurs

Vidéos : flux d'air de Data Engineering LATAM
Vidéo : Automatiser les idées avec Apache Airflow - Yesi Díaz de Software Guru
Vidéos : Cuillère Pentaho par LEARNING-BI
Vidéos : Luigi sous-titré par Seattle Data Guy
Lecture : Azure Data Factory de Microsoft

? Architectures

Traitement des données par lots
Traitement ou streaming en temps réel
Architectures lambda et kappa
Lecture : Principales différences entre AWS OLAP et OLTP
Vidéo : Créer un ETL par lots et en streaming avec Databits Spark
Lecture : Comparaison des machines virtuelles et des conteneurs Atlassian
Vidéos : Peeling Nerd's Docker
Vidéos : Kubernetes par Pelado Nerd
Lecture : Qu'est-ce qu'un système distribué ? par Atlassian
Vidéos : Spark de Data Engineering LATAM
Vidéo : Infrastructure en tant que code pour l'ingénierie des données Spark Mexico
Vidéos : Apache Spark par NullSafe Architect
Vidéos : Apache Kafka par NullSafe Architect

? Essai

Vidéo : De grandes attentes : validez les pipelines de données comme un pro par CodingEric à PyConAr 2020
Vidéo : les tests ETL et leur automatisation avec Python par Patricio Miner à #QSConf 2023

Nuage

Il est utile d'avoir des connaissances en cloud computing. À ce stade, je recommanderais d’envisager de préparer des certifications officielles. Bien que ces examens aient généralement un coût, vous pouvez trouver des ressources de préparation gratuites et officielles auprès des fournisseurs les plus connus du secteur.

☁️ Les bases du cloud

Vidéo : Principes fondamentaux du cloud computing Datahack
Lecture : Découvrez les avantages et les inconvénients du cloud Platzi
Lecture : Architecture pour le Big Data dans le Cloud par Platzi

Certifications officielles

Ingénierie des données Google Cloud
- Vidéos : Google Cloud (GCP) de Learning Big Data
Ingénierie des données Microsoft Azure
- Vidéos : Azure par Data Engineering LATAM
- Vidéos : certifications Azure issues de l'apprentissage du Big Data
Ingénierie des données avec Microsoft Azure Fabric
Ingénierie des données AWS
- Vidéos : AWS de Data Engineering LATAM

Recherche d'emploi

Enfin, je vous laisse quelques lectures et vidéos qui proposent des conseils et des expériences liées à la recherche d'emploi dans le domaine des systèmes. Plus tard, des défis techniques et d'autres ressources liées au sujet seront ajoutés.

? Conseils

Vidéo : Comment décrocher son premier emploi en ingénierie de données ? de Spark Mexique
Vidéos : Conseils de travail pour le monde informatique de TodoCode
Vidéos : Indispensables pour débuter dans le monde des systèmes Maxi Program
Sujet : Conseils pour compléter le profil LinkedIn de @natayadev
Sujet : Conseils pour obtenir un emploi à distance dans l'informatique auprès de @natayadev
Sujet : Comment créer un CV soigné et lisible par @iamdoomling
Sujet : Je vous laisse ces conseils pour survivre aux entretiens avec les ressources humaines de @iamdoomling
Vidéo : Programmation en entreprise, startup ou freelance Quoi de mieux ? par @iamdoomling
Vidéo : J'ai terminé le bootcamp de programmation. Et maintenant ? par @iamdoomling
Vidéo : Travailler en tant qu'entrepreneur en Argentine par @iamdoomling
Podcast : DevRock par Jonatan Ariste