Roteiro 2024 - Engenharia de dados em espanhol
Mais um repositório com conceitos básicos, desafios técnicos e recursos sobre engenharia de dados em espanhol?
Você gostaria de contribuir com o repositório? Visite o guia de contribuição
Nota: o roteiro de aprendizagem a seguir foi elaborado a critério pessoal com a ideia de facilitar o estudo dos interessados em engenharia de dados com material gratuito e gratuito em espanhol que encontrei na internet. Não é um guia ou curso definitivo, é uma lista de recursos que podem ser melhorados ao longo do tempo com contribuições da comunidade.
Livros de engenharia de dados em inglês
Padrões de projeto para DE em inglês
Programação
Noções básicas
Começamos entendendo os conceitos fundamentais de programação e lógica. Esta seção pode ser desenvolvida simultaneamente com o aprendizado da linguagem de programação de sua escolha.
- Curso: Programação Básica Platzi
- Vídeos: Introdução aos Algoritmos e Programação TodoCode
- Vídeos: exercícios de pseudocódigo TodoCode
- Vídeos: Linha de Comando Datademia
- Vídeos: script Bash de Fazt
- Leitura: Introdução à linha de comando e shell do Linux do Microsoft Learn
? Linguagem de programação
Recomendo começar com Python devido à sua curva de aprendizado amigável e à sua prevalência na indústria atual. Porém, é importante ressaltar que o processamento de dados também pode ser feito com R, Java, Scala, Julia, entre outros.
- Vídeos: Python de 0 por PildorasInformáticas
- Curso: Computação Científica com Python do FreeCodeCamp
- Curso: Álgebra Universitária com Python do FreeCodeCamp
- Curso: Introdução à programação com Python do Harvard CS50 legendado por FreeCodeCamp
- Curso: Python intermediário legendado do FreeCodeCamp
- Curso: Kaggle Pandas
- Vídeos: Expressões regulares de Ada Lovecode
- Vídeo: Princípios da Programação Orientada a Objetos BettaTech
- Vídeos: Programação Orientada a Objetos explicada com Minecraft por Absolute
- Curso: Julia para quem tem pressa de Miguel Raz
Excel
Controle de versão com Git
Aprender sobre controle de versão não é valioso apenas quando trabalhamos em equipe, mas também nos proporciona a capacidade de rastrear, compreender e gerenciar as alterações feitas em nosso projeto e, assim, manter um desenvolvimento eficiente e colaborativo.
- Vídeo: O que é controle de versão e por que ele é tão importante para a programação? da Datademia
- Curso: Git e Github por MoureDev
- Vídeos: Git e Github por TodoCode
- Leitura: Use o Git corretamente por Attlasian
- Jogo: Aprenda Git Branching
Mais ferramentas
- Cadernos: Google Collab, Jupyter ou Deepnote
- Editores de texto: VSCode, Spyder ou Google IDX
Bancos de dados
Noções básicas
Neste caso, é hora de aprender sobre bancos de dados. A escolha do gerenciador de banco de dados a ser usado fica a seu critério, embora eu pessoalmente recomende PostgreSQL para dados estruturados e MongoDB para dados não estruturados. Porém, existem muitas outras opções: MySQL, SQLite e assim por diante.
- Vídeos: introdução aos bancos de dados TodoCode
- Leitura: Diferenças entre DDL, DML e DCL do TodoPostgreSQL
- Vídeo: Procedimentos armazenados nº 1 por Héctor de León
- Vídeo: Procedimentos armazenados nº 2 por Héctor de León
- Vídeo: MongoDB por Fazt
- Vídeos: MongoDB por MitoCode
SQL
Você também aprenderá SQL, uma linguagem de consulta para gerenciamento e manipulação de bancos de dados relacionais.
- Vídeos: SQL da Data Engineering LATAM
- Introdução ao SQL por Kaggle
- SQL avançado Kaggle
? Projeto
Agora continuamos com conceitos mais avançados que nos ajudarão a projetar bancos de dados, data lakes, data warehouses, esquemas, etc.
- Vídeo: Quando usar SQL e quando usar NoSQL? por Hector de León
- Vídeo: Como os bancos de dados NoSQL são modelados? de Olá Mundo
- Leitura: Bancos de dados orientados a Oracle Graph
- Vídeo: bancos de dados gráficos, fundamentos e práticas de Datahack
Grandes dados
O próximo passo é entender alguns conceitos de Big Data. Além disso, é interessante adquirir conhecimentos básicos sobre inteligência artificial, business intelligence e análise de dados sem a necessidade de se aprofundar muito.
Noções básicas
- Vídeo: Big Data para leigos em Datahack
- Leitura: Big Data: O que é e como ajuda meu negócio? da Salesforce
- Certificação: Projetar e programar soluções IoT com uso de Big Data pela Universidad del Rosario
- Certificação: Big Data da Universidade da Califórnia em San Diego
- Vídeo: Privacidade de Big Data e Databits
- Vídeos: Governança de dados inteligente
- Vídeo: Como começar a usar a governança de dados sem estourar o orçamento, por Software Guru
Análise e exploração de dados
- Certificação: Fundamentos Profissionais de Análise de Dados, da Microsoft e LinkedIn
- Certificação: Certificado Profissional do Google Data Analytics
- Certificação: Certificado Profissional IBM Data Analyst
- Curso: Análise de Dados com Python do FreeCodeCamp
- Vídeo: Storytelling: Como transformar seu conteúdo em uma história? da Coderhouse
Estatísticas
? Inteligência artificial
- Curso: Aprendizado de Máquina com Python do FreeCodeCamp
- Canal: LearnIA com Ligdi Gonzalez
- Vídeos: Aprenda Inteligência Artificial com Dot CSV
- Vídeo: como usar ChatGPT na engenharia de dados Datalytics
- Curso: Inteligência Artificial legendado da Columbia University
? inteligência de negócios
- Vídeos: Certificado Google Business Intelligence legendado de Google Career
- Vídeos: Business Intelligence para Todos! por PEALCALA
DataViz
Processamento de Dados
Nesta seção está o coração da engenharia de dados, veremos o que são pipelines de dados, o que é um ETL, orquestradores e muito mais. Além disso, deixo uma lista de conceitos-chave que atualizarei com seus respectivos recursos no futuro. Caso tenha interesse em aprendê-los detalhadamente, você pode pesquisar os livros carregados no repositório.
- Canal: CodinEric
- Canal: Engenharia de Dados LATAM
- Canal: Datademia
- Canal: Datalítica
- Blog: Iniciar (Inglês)
- Plataforma de aprendizagem DataWars
? ETL e pipelines de dados
- Vídeo: Engenharia de Dados: Jornada ao Coração dos Projetos de Dados RockingData
- Vídeo: Como se tornar um verdadeiro engenheiro de dados? da Databits
- Vídeos: Pré-processamento de dados em Python por Rocio Chavez
- Vídeos: Pré-processamento de dados em R por Rocio Chavez
- Vídeo: Teste A/B: dados, não opiniões da SantanDev
- Cargas incrementais
- Filas de mensagens
- Expressões Cron
❄️ Bancos de dados avançados
- Modelo relacional
- Modelo dimensional
- Fatos e dimensões
- Datalake, Datamart, Datawarehouse e Dataqube
- Layout baseado em colunas e linhas
- Esquemas de estrelas e flocos de neve
- Esquemas de leitura e gravação
? Orquestradores
- Vídeos: Airflow da Data Engineering LATAM
- Vídeo: Automatizando ideias com Apache Airflow - Yesi Díaz do Software Guru
- Vídeos: Colher Pentaho por LEARNING-BI
- Vídeos: Luigi legendado por Seattle Data Guy
- Leitura: Azure Data Factory da Microsoft
? Arquiteturas
- Processamento de dados em lote
- Processamento ou streaming em tempo real
- Arquiteturas Lambda e Kappa
- Leitura: Principais diferenças entre AWS OLAP e OLTP
- Vídeo: Crie ETL em lote e streaming com Databits Spark
- Leitura: Comparação de máquinas virtuais e contêineres da Atlassian
- Vídeos: Descascando o Docker do Nerd
- Vídeos: Kubernetes de Pelado Nerd
- Leitura: O que é um sistema distribuído? da Atlassian
- Vídeos: Spark da Data Engineering LATAM
- Vídeo: Infraestrutura como código para engenharia de dados Spark Mexico
- Vídeos: Apache Spark por NullSafe Architect
- Vídeos: Apache Kafka por NullSafe Architect
? Teste
- Vídeo: Grandes expectativas: valide pipelines de dados como um profissional por CodingEric na PyConAr 2020
- Vídeo: Teste ETL e sua Automação com Python por Patricio Miner na #QSConf 2023
Nuvem
É útil ter conhecimento de computação em nuvem. Neste ponto, eu recomendaria considerar a preparação de certificações oficiais. Embora esses exames geralmente tenham um custo, você pode encontrar recursos de preparação gratuitos e oficiais dos fornecedores mais conhecidos do setor.
☁️ Noções básicas de nuvem
- Vídeo: Fundamentos da computação em nuvem Datahack
- Leitura: Conheça as vantagens e desvantagens da nuvem Platzi
- Leitura: Arquitetura para Big Data na Nuvem por Platzi
Certificações oficiais
- Engenharia de dados do Google Cloud
- Vídeos: Google Cloud (GCP) do Learning Big Data
- Engenharia de dados do Microsoft Azure
- Vídeos: Azure da Data Engineering LATAM
- Vídeos: Certificações Azure do Learning Big Data
- Engenharia de dados com Microsoft Azure Fabric
- Engenharia de dados AWS
- Vídeos: AWS da Data Engineering LATAM
Pesquisa de emprego
Por fim, deixo-vos algumas leituras e vídeos que oferecem conselhos e experiências relacionadas com a procura de emprego na área de sistemas. Posteriormente, serão acrescentados desafios técnicos e outros recursos relacionados ao tema.
? Pontas
- Vídeo: Como conseguir seu primeiro emprego em engenharia de dados? da Spark México
- Vídeos: dicas de trabalho para o mundo de TI do TodoCode
- Vídeos: Essenciais para começar no mundo dos sistemas do Programa Maxi
- Tópico: Dicas para completar o perfil de @natayadev no LinkedIn
- Tópico: Dicas para conseguir um emprego remoto em TI de @natayadev
- Tópico: Como criar um currículo limpo e legível por @iamdoomling
- Tópico: Deixo-vos estas dicas para sobreviverem às entrevistas com recursos humanos do @iamdoomling
- Vídeo: Programação em empresas, startups ou freelance O que é melhor? por @iamdoomling
- Vídeo: Terminei o bootcamp de programação. E agora? por @iamdoomling
- Vídeo: Trabalho como empreiteiro na Argentina por @iamdoomling
- Podcast: DevRock de Jonatan Ariste
Desafios técnicos
- (2023) Repositório: Desafios do código comunitário MoureDev
- (2024) Repositório: Roteiro dos Desafios da Programação da Comunidade MoureDev
Em andamento ?
Se você achou este repositório útil, me dê uma estrela
