dataengineering roadmap herunterladen – dataengineering roadmap -Quellcode herunterladen

dataengineering roadmap

AI-Quellcode

1.0.0

Herunterladen

Roadmap 2024 – Data Engineering auf Spanisch

Ein weiteres Repository mit grundlegenden Konzepten, technischen Herausforderungen und Ressourcen zum Data Engineering auf Spanisch?

Möchten Sie zum Repository beitragen? Besuchen Sie den Beitragsleitfaden

Hinweis: Der folgende Lernweg wurde nach persönlichem Ermessen mit der Idee entworfen, das Studium von Datentechnikinteressierten mit kostenlosem, kostenlosem Material auf Spanisch zu erleichtern, das ich im Internet gefunden habe. Es handelt sich nicht um einen endgültigen Leitfaden oder Kurs, sondern um eine Liste von Ressourcen, die im Laufe der Zeit durch Beiträge der Community verbessert werden können.

Bücher zur Datentechnik auf Englisch

Designmuster für DE auf Englisch

Roadmap-Illustration

Programmierung

Grundlagen

Wir beginnen mit dem Verständnis der grundlegenden Konzepte der Programmierung und Logik. Dieser Abschnitt kann gleichzeitig mit dem Erlernen der Programmiersprache Ihrer Wahl entwickelt werden.

Kurs: Platzi Basic Programming
Videos: Einführung in Algorithmen und TodoCode-Programmierung
Videos: TodoCode-Pseudocode-Übungen
Videos: Datademia-Befehlszeile
Videos: Bash-Scripting von Fazt
Lektüre: Einführung in die Linux-Befehlszeile und -Shell von Microsoft Learn

? Programmiersprache

Ich empfehle, mit Python zu beginnen, da es eine angenehme Lernkurve bietet und in der heutigen Industrie weit verbreitet ist. Es ist jedoch wichtig zu beachten, dass die Datenverarbeitung unter anderem auch mit R, Java, Scala, Julia erfolgen kann.

Videos: Python von 0 von PildorasInformáticas
Kurs: Wissenschaftliches Rechnen mit Python von FreeCodeCamp
Kurs: College-Algebra mit Python von FreeCodeCamp
Kurs: Einführung in die Programmierung mit Python von Harvard CS50 mit Untertiteln von FreeCodeCamp
Kurs: Intermediate Python mit Untertitel von FreeCodeCamp
Kurs: Kaggle Pandas
Videos: Reguläre Ausdrücke von Ada Lovecode
Video: Prinzipien der objektorientierten Programmierung von BettaTech
Videos: Objektorientierte Programmierung erklärt mit Minecraft von Absolute
Kurs: Julia für Eilige von Miguel Raz

Excel

Versionskontrolle mit Git

Das Erlernen der Versionskontrolle ist nicht nur bei der Arbeit in Teams wertvoll, sondern gibt uns auch die Möglichkeit, die an unserem Projekt vorgenommenen Änderungen zu verfolgen, zu verstehen und zu verwalten und so eine effiziente und kollaborative Entwicklung aufrechtzuerhalten.

Video: Was ist Versionskontrolle und warum ist sie für die Programmierung so wichtig? von Datademia
Kurs: Git und Github von MoureDev
Videos: Git und Github von TodoCode
Lektüre: Git richtig nutzen von Attlasian
Spiel: Lernen Sie Git Branching

Weitere Werkzeuge

Notizbücher: Google Collab, Jupyter oder Deepnote
Texteditoren: VSCode, Spyder oder Google IDX

Datenbanken

Grundlagen

In diesem Fall ist es an der Zeit, etwas über Datenbanken zu lernen. Die Wahl des zu verwendenden Datenbankmanagers liegt in Ihrem Ermessen, obwohl ich persönlich PostgreSQL für strukturierte Daten und MongoDB für unstrukturierte Daten empfehle. Es gibt jedoch viele andere Optionen: MySQL, SQLite und so weiter.

Videos: Einführung in TodoCode-Datenbanken
Lektüre: Unterschiede zwischen DDL, DML und DCL von TodoPostgreSQL
Video: Gespeicherte Prozeduren Nr. 1 von Héctor de León
Video: Gespeicherte Prozeduren Nr. 2 von Héctor de León
Video: MongoDB von Fazt
Videos: MongoDB von MitoCode

SQL

Sie lernen außerdem SQL, eine Abfragesprache zur Verwaltung und Bearbeitung relationaler Datenbanken.

Videos: SQL von Data Engineering LATAM
Einführung in SQL von Kaggle
Kaggle Advanced SQL

? Design

Jetzt fahren wir mit fortgeschritteneren Konzepten fort, die uns beim Entwerfen von Datenbanken, Data Lakes, Data Warehouses, Schemata usw. helfen.

Video: Wann sollte man SQL und wann NoSQL verwenden? von Hector de León
Video: Wie werden NoSQL-Datenbanken modelliert? von HelloWorld
Lektüre: Oracle Graph-orientierte Datenbanken
Video: Graphdatenbanken, Datahack-Grundlagen und Praxis

Big Data

Als nächstes müssen wir einige Konzepte von Big Data verstehen. Darüber hinaus ist es interessant, sich Grundkenntnisse über Künstliche Intelligenz, Business Intelligence und Datenanalyse anzueignen, ohne zu tief in die Materie einsteigen zu müssen.

Grundlagen

Video: Big Data für Datahack-Dummies
Lektüre: Big Data: Was ist das und wie hilft es meinem Unternehmen? von Salesforce
Zertifizierung: Entwerfen und Programmieren von IoT-Lösungen unter Verwendung von Big Data von der Universidad del Rosario
Zertifizierung: Big Data von der University of California San Diego
Video: Datenschutz bei Big Data und Databits
Videos: Smart Data Data Governance
Video: Wie Sie mit Data Governance beginnen, ohne das Budget zu sprengen, von Software Guru

Analytik und Datenexploration

Zertifizierung: Professional Fundamentals of Data Analytics, von Microsoft und LinkedIn
Zertifizierung: Google Data Analytics Professional-Zertifikat
Zertifizierung: IBM Data Analyst Professional-Zertifikat
Kurs: Datenanalyse mit Python von FreeCodeCamp
Video: Storytelling: Wie verwandeln Sie Ihre Inhalte in eine Geschichte? von Coderhouse

Statistiken

? Künstliche Intelligenz

Kurs: Maschinelles Lernen mit Python von FreeCodeCamp
Kanal: LearnIA mit Ligdi Gonzalez
Videos: Lernen Sie künstliche Intelligenz von Dot CSV
Video: Verwendung von ChatGPT im Datalytics Data Engineering
Kurs: Künstliche Intelligenz mit Untertiteln von der Columbia University

? Business Intelligence

Videos: Google Business Intelligence-Zertifikat mit Untertiteln von Google Career
Videos: Business Intelligence für alle! von PEALCALA

DataViz

Datenverarbeitung

In diesem Abschnitt geht es um das Herzstück der Datentechnik. Wir werden sehen, was Datenpipelines sind, was ein ETL ist, Orchestratoren und mehr. Darüber hinaus hinterlasse ich eine Liste mit Schlüsselkonzepten, die ich in Zukunft mit den entsprechenden Ressourcen aktualisieren werde. Wenn Sie daran interessiert sind, sie im Detail zu lernen, können Sie die im Repository hochgeladenen Bücher durchsuchen.

Kanal: CodinEric
Kanal: Data Engineering LATAM
Kanal: Datademia
Kanal: Datalytics
Blog: Start (Englisch)
DataWars-Lernplattform

? ETL und Datenpipelines

Video: Data Engineering: Reise zum Kern von RockingData-Datenprojekten
Video: Wie wird man ein echter Data Engineer? von Databits
Videos: Datenvorverarbeitung in Python von Rocio Chavez
Videos: Datenvorverarbeitung in R von Rocio Chavez
Video: A/B-Tests: Daten, keine Meinungen von SantanDev
Inkrementelle Belastungen
Nachrichtenwarteschlangen
Cron-Ausdrücke

❄️ Erweiterte Datenbanken

Relationales Modell
Dimensionsmodell
Fakten und Dimensionen
Datalake, Datamart, Datawarehouse und Dataqube
Spaltenbasiertes und zeilenbasiertes Layout
Stern- und Schneeflockenschemata
Bei Lese- und Schreibschemata

? Orchestratoren

Videos: Luftstrom von Data Engineering LATAM
Video: Ideen mit Apache Airflow automatisieren – Yesi Díaz von Software Guru
Videos: Pentaho-Löffel von LEARNING-BI
Videos: Luigi mit Untertiteln von Seattle Data Guy
Lektüre: Microsofts Azure Data Factory

? Architekturen

Batch-Datenverarbeitung
Echtzeitverarbeitung oder Streaming
Lambda- und Kappa-Architekturen
Lektüre: Hauptunterschiede zwischen AWS OLAP und OLTP
Video: Erstellen Sie ETL im Batch und Streaming mit Databits Spark
Lektüre: Vergleich der virtuellen Maschinen und Container von Atlassian
Videos: Peeling Nerd's Docker
Videos: Kubernetes von Pelado Nerd
Lektüre: Was ist ein verteiltes System? von Atlassian
Videos: Spark von Data Engineering LATAM
Video: Infrastruktur als Code für Spark Mexico Data Engineering
Videos: Apache Spark von NullSafe Architect
Videos: Apache Kafka von NullSafe Architect

? Testen

Video: Große Erwartungen: Validieren Sie Datenpipelines wie ein Profi von CodingEric auf der PyConAr 2020
Video: ETL-Tests und seine Automatisierung mit Python von Patricio Miner auf der #QSConf 2023

Wolke

Kenntnisse im Bereich Cloud Computing sind von Vorteil. An dieser Stelle würde ich empfehlen, über die Vorbereitung offizieller Zertifizierungen nachzudenken. Obwohl diese Prüfungen in der Regel kostenpflichtig sind, finden Sie bei den bekanntesten Anbietern der Branche kostenlose und offizielle Vorbereitungsressourcen.

☁️ Cloud-Grundlagen

Video: Datahack Cloud Computing-Grundlagen
Lektüre: Entdecken Sie die Vor- und Nachteile der Platzi-Cloud
Lektüre: Architektur für Big Data in der Cloud von Platzi

Offizielle Zertifizierungen

Google Cloud Data Engineering
- Videos: Google Cloud (GCP) von Learning Big Data
Microsoft Azure Data Engineering
- Videos: Azure von Data Engineering LATAM
- Videos: Azure-Zertifizierungen von Learning Big Data
Daten-Engineering mit Microsoft Azure Fabric
AWS-Datentechnik
- Videos: AWS von Data Engineering LATAM

Jobsuche

Abschließend hinterlasse ich Ihnen einige Lektüren und Videos, die Ratschläge und Erfahrungen im Zusammenhang mit der Jobsuche im Systembereich bieten. Später werden technische Herausforderungen und andere Ressourcen zum Thema hinzugefügt.

? Tipps

Video: Wie bekomme ich meinen ersten Job im Data Engineering? von Spark Mexiko
Videos: Arbeitstipps für die IT-Welt von TodoCode
Videos: Unverzichtbar für den Einstieg in die Welt der Maxi Program-Systeme
Thread: Tipps zum Ausfüllen des LinkedIn-Profils von @natayadev
Thread: Tipps für einen Remote-Job in der IT von @natayadev
Thread: So erstellen Sie einen übersichtlichen und lesbaren Lebenslauf von @iamdoomling
Thread: Ich überlasse Ihnen diese Tipps, um Interviews mit der Personalabteilung von @iamdoomling zu überstehen
Video: Programmieren in Unternehmen, Startups oder freiberuflich Was ist besser? von @iamdoomling
Video: Ich habe das Programmier-Bootcamp abgeschlossen. Was nun? von @iamdoomling
Video: Arbeit als Auftragnehmer aus Argentinien von @iamdoomling
Podcast: DevRock von Jonatan Ariste