Загрузка dataengineering roadmap - dataengineering roadmap Загрузка исходного кода

dataengineering roadmap

AI Исходный код

1.0.0

Скачать

Дорожная карта 2024 — Инженерия данных на испанском языке

Еще один репозиторий с основными понятиями, техническими задачами и ресурсами по инженерии данных на испанском языке?

Хотите внести свой вклад в репозиторий? Посетите руководство по вкладам

Примечание. Следующий маршрут обучения разработан по личному усмотрению с целью облегчить изучение тех, кто интересуется инженерией данных, с помощью бесплатных бесплатных материалов на испанском языке, которые я нашел в Интернете. Это не исчерпывающее руководство или курс, а список ресурсов, которые со временем можно улучшить благодаря вкладу сообщества.

Книги по инженерии данных на английском языке

Шаблоны проектирования для DE на английском языке

Иллюстрация дорожной карты

Программирование

Основы

Мы начнем с понимания фундаментальных концепций программирования и логики. Этот раздел можно разрабатывать одновременно с изучением выбранного вами языка программирования.

Курс: Базовое программирование Platzi
Видео: Введение в алгоритмы и программирование TodoCode
Видео: упражнения с псевдокодом TodoCode
Видео: командная строка Datademia
Видео: сценарии Bash от Fazt
Чтение: Введение в командную строку и оболочку Linux от Microsoft Learn.

? Язык программирования

Я рекомендую начать с Python из-за его удобного обучения и его распространенности в современной отрасли. Однако важно отметить, что обработку данных можно также выполнять с помощью R, Java, Scala, Julia и других.

Видео: Python с 0 от PildorasInformáticas
Курс: Научные вычисления с Python от FreeCodeCamp
Курс: студенческая алгебра с Python от FreeCodeCamp
Курс: Harvard CS50 «Введение в программирование на Python» с субтитрами FreeCodeCamp
Курс: Intermediate Python с субтитрами от FreeCodeCamp
Курс: Каггл Панды
Видео: Регулярные выражения Ады Лавкод
Видео: Принципы объектно-ориентированного программирования BettaTech
Видео: объяснение объектно-ориентированного программирования в Minecraft от Absolute
Курс: Юлия для спешащих Мигель Раз

Эксель

Контроль версий с помощью Git

Изучение контроля версий не только полезно при работе в команде, но также дает нам возможность отслеживать, понимать и управлять изменениями, внесенными в наш проект, и, таким образом, поддерживать эффективную совместную разработку.

Видео: Что такое контроль версий и почему он так важен для программирования? от Датадемия
Курс: Git и Github от MoureDev
Видео: Git и Github от TodoCode
Чтение: правильно используйте Git от Attlasian
Игра: Изучите ветвление Git

Дополнительные инструменты

Блокноты: Google Collab, Jupyter или Deepnote.
Текстовые редакторы: VSCode, Spyder или Google IDX.

Базы данных

Основы

В этом случае пришло время узнать о базах данных. Выбор используемого менеджера баз данных остается на ваше усмотрение, хотя лично я рекомендую PostgreSQL для структурированных данных и MongoDB для неструктурированных данных. Однако есть много других вариантов: MySQL, SQLite и так далее.

Видео: Введение в базы данных TodoCode
Чтение: Различия между DDL, DML и DCL TodoPostgreSQL
Видео: Хранимые процедуры №1, автор: Эктор де Леон
Видео: Хранимые процедуры №2, автор: Эктор де Леон
Видео: MongoDB от Fazt
Видео: MongoDB от MitoCode

SQL

Вы также изучите SQL — язык запросов для управления реляционными базами данных и манипулирования ими.

Видео: SQL от Data Engineering LATAM
Введение в SQL от Kaggle
Расширенный SQL Kaggle

? Дизайн

Теперь мы продолжим рассмотрение более продвинутых концепций, которые помогут нам проектировать базы данных, озера данных, хранилища данных, схемы и т. д.

Видео: Когда использовать SQL, а когда NoSQL? Эктор де Леон
Видео: Как моделируются базы данных NoSQL? из HelloWorld
Чтение: Графоориентированные базы данных Oracle
Видео: графовые базы данных, основы и практика Datahack

Большие данные

Следующее, что нужно сделать, это понять некоторые концепции больших данных. Кроме того, интересно получить базовые знания об искусственном интеллекте, бизнес-аналитике и анализе данных без необходимости слишком глубоко вникать.

Основы

Видео: Большие данные для чайников, занимающихся Datahack
Чтение: Большие данные: что это такое и как они помогают моему бизнесу? из Salesforce
Сертификация: Проектирование и программирование решений Интернета вещей с использованием больших данных от Университета Росарио.
Сертификация: Большие данные Калифорнийского университета в Сан-Диего.
Видео: Большие данные и конфиденциальность битов данных
Видео: интеллектуальное управление данными
Видео: «Как начать работу с управлением данными, не нарушая бюджет» от Software Guru

Аналитика и исследование данных

Сертификация: профессиональные основы анализа данных от Microsoft и LinkedIn.
Сертификация: Профессиональный сертификат Google Data Analytics.
Сертификация: Профессиональный сертификат IBM Data Analyst.
Курс: Анализ данных с помощью Python от FreeCodeCamp
Видео: Сторителлинг: как превратить контент в историю? от Кодерхаус

Статистика

? Искусственный интеллект

Курс: Машинное обучение с помощью Python от FreeCodeCamp
Канал: LearnIA с Лигди Гонсалес
Видео: Изучите искусственный интеллект с помощью Dot CSV
Видео: как использовать ChatGPT в инженерии данных Datalytics
Курс: Искусственный интеллект с субтитрами от Колумбийского университета.

? бизнес-аналитика

Видео: Сертификат Google Business Intelligence с субтитрами из Google Career
Видео: Бизнес-аналитика для всех! от ПЕАЛКАЛА

DataViz

Обработка данных

В этом разделе мы увидим, что такое конвейеры данных, что такое ETL, оркестраторы и многое другое. Кроме того, я оставляю список ключевых понятий, которые я буду обновлять с помощью соответствующих ресурсов в будущем. Если вы заинтересованы в их подробном изучении, вы можете выполнить поиск по книгам, загруженным в репозиторий.

Канал: CodinEric
Канал: Инженерия данных LATAM
Канал: Датадемия
Канал: Даталитика
Блог: Старт (английский)
Учебная платформа DataWars

? ETL и конвейеры данных

Видео: Инженерия данных: путешествие к сердцу проектов обработки данных RockingData
Видео: Как стать настоящим инженером данных? по битам данных
Видео: Предварительная обработка данных в Python от Росио Чавеса
Видео: Предварительная обработка данных в R от Росио Чавеса
Видео: A/B-тестирование: данные, а не мнения от SantanDev
Дополнительные нагрузки
Очереди сообщений
Выражения Крон

❄️ Расширенные базы данных

Реляционная модель
Габаритная модель
Факты и измерения
Datalake, Datamart, Datawarehouse и Dataqube
Макет на основе столбцов и строк
Схемы звезд и снежинок
О схемах чтения и записи

? Оркестраторы

Видео: Airflow от Data Engineering LATAM
Видео: Автоматизация идей с помощью Apache Airflow — Йеси Диас из Software Guru
Видео: Ложка Pentaho от LEARNING-BI
Видео: Луиджи с субтитрами от Seattle Data Guy
Чтение: Фабрика данных Microsoft Azure

? Архитектуры

Пакетная обработка данных
Обработка или потоковая передача в реальном времени
Лямбда- и каппа-архитектуры
Чтение: Ключевые различия между AWS OLAP и OLTP
Видео: пакетное и потоковое создание ETL с помощью Databits Spark
Чтение: Сравнение виртуальных машин и контейнеров Atlassian
Видео: Docker Peeling Nerd
Видео: Kubernetes от Пеладо Нерда
Чтение: Что такое распределенная система? от Атласиан
Видео: Spark от Data Engineering LATAM
Видео: Инфраструктура как код для проектирования данных Spark Mexico
Видео: Apache Spark от NullSafe Architect
Видео: Apache Kafka от NullSafe Architect

? Тестирование

Видео: Большие надежды: профессиональная проверка конвейеров данных от CodingEric на PyConAr 2020
Видео: ETL-тестирование и его автоматизация с помощью Python от Патрисио Майнера на #QSConf 2023

Облако

Полезно иметь знания в области облачных вычислений. На этом этапе я бы рекомендовал рассмотреть возможность подготовки официальных сертификатов. Хотя эти экзамены обычно платные, вы можете найти бесплатные и официальные ресурсы для подготовки от самых известных поставщиков в отрасли.

☁️ Основы облака

Видео: Основы облачных вычислений Datahack
Чтение: Узнайте о преимуществах и недостатках облака Platzi.
Чтение: Архитектура больших данных в облаке от Platzi

Официальные сертификаты

Облачная обработка данных Google
- Видео: Google Cloud (GCP) из раздела «Изучение больших данных»
Инженерия данных Microsoft Azure
- Видео: Azure от Data Engineering LATAM
- Видео: Сертификация Azure по изучению больших данных
Инжиниринг данных с помощью Microsoft Azure Fabric
Инжиниринг данных AWS
- Видео: AWS от Data Engineering LATAM

Поиск работы

Наконец, я оставляю вам несколько материалов для чтения и видео, которые содержат советы и опыт, связанные с поиском работы в области систем. Позже будут добавлены технические задачи и другие ресурсы, связанные с этой темой.

? Советы

Видео: Как получить свою первую работу в сфере обработки данных? из Спарк Мексика
Видео: рабочие советы для мира ИТ TodoCode
Видео: важно для начала работы в мире систем Maxi Program
Тема: Советы по заполнению профиля @natayadev в LinkedIn
Тема: Советы по удаленной работе в IT от @natayadev
Тема: Как создать аккуратное и читабельное резюме от @iamdoomling
Тема: Я оставляю вам эти советы, как пережить собеседования с отделом кадров от @iamdoomling
Видео: Программирование в компаниях, стартапах или фрилансе Что лучше? от @iamdoomling
Видео: Я закончил курс по программированию. И что дальше? от @iamdoomling
Видео: Работа подрядчиком из Аргентины от @iamdoomling
Подкаст: DevRock Джонатана Аристе