dataengineering roadmap 다운로드 - dataengineering roadmap 소스 코드 다운로드

dataengineering roadmap

AI 소스 코드

1.0.0

다운로드

로드맵 2024 - 스페인어 데이터 엔지니어링

스페인어로 된 데이터 엔지니어링에 대한 기본 개념, 기술적 과제 및 리소스가 포함된 저장소가 하나 더 있습니까?

저장소에 기여하시겠습니까? 기여 가이드 보기

참고: 다음 학습 경로는 제가 인터넷에서 찾은 무료 스페인어 자료를 사용하여 데이터 엔지니어링에 관심이 있는 사람들의 학습을 촉진한다는 아이디어로 개인 재량 에 따라 설계되었습니다. 이는 최종 가이드나 강좌가 아니며 , 커뮤니티의 기여를 통해 시간이 지남에 따라 개선될 수 있는 리소스 목록 입니다 .

영어로 된 데이터 엔지니어링 서적

DE를 위한 영어 디자인 패턴

로드맵 일러스트레이션

프로그램 작성

기초

프로그래밍과 논리의 기본 개념을 이해하는 것부터 시작합니다. 이 섹션은 선택한 프로그래밍 언어를 학습하는 동시에 개발할 수 있습니다.

강좌: Platzi 기본 프로그래밍
비디오: 알고리즘 및 TodoCode 프로그래밍 소개
동영상: TodoCode 의사코드 연습
비디오: Datademia 명령줄
비디오: Fazt의 Bash 스크립팅
읽기 자료: Microsoft Learn의 Linux 명령줄 및 셸 소개

? 프로그래밍 언어

Python의 친숙한 학습 곡선과 오늘날 업계에서의 널리 사용되는 Python으로 시작하는 것이 좋습니다. 그러나 R, Java, Scala, Julia 등을 사용하여 데이터 처리를 수행할 수도 있다는 점에 유의하는 것이 중요합니다.

비디오: PildorasInformáticas의 Python from 0
과정: FreeCodeCamp의 Python을 사용한 과학 컴퓨팅
과정: FreeCodeCamp의 Python을 사용한 대학 대수학
강좌: FreeCodeCamp 자막이 있는 Harvard CS50의 Python 프로그래밍 입문
강좌: FreeCodeCamp의 자막이 있는 중급 Python
코스: Kaggle Pandas
비디오: Ada Lovecode의 정규식
비디오: BettaTech 객체 지향 프로그래밍의 원리
비디오: Absolute가 Minecraft로 설명하는 객체 지향 프로그래밍
코스: 바쁜 사람들을 위한 Julia(미구엘 라즈)

뛰어나다

Git을 사용한 버전 관리

버전 제어에 대해 배우는 것은 팀으로 작업할 때 유용할 뿐만 아니라 프로젝트에 대한 변경 사항을 추적, 이해 및 관리하여 효율적이고 협업적인 개발을 유지할 수 있는 능력도 제공합니다.

비디오: 버전 제어란 무엇이며 프로그래밍에 있어 왜 그렇게 중요한가요? by 데이터데미아
강좌: MoureDev의 Git 및 Github
비디오: TodoCode의 Git 및 Github
읽기: Attlasian이 작성한 Git의 올바른 사용
게임: Git 분기 배우기

더 많은 도구

노트북: Google Collab, Jupyter 또는 Deepnote
텍스트 편집기: VSCode, Spyder 또는 Google IDX

데이터베이스

기초

이번 시간에는 데이터베이스에 대해 알아보겠습니다. 사용할 데이터베이스 관리자의 선택은 귀하의 재량에 달려 있습니다. 하지만 저는 개인적으로 구조화된 데이터에는 PostgreSQL을, 비구조화된 데이터에는 MongoDB를 권장합니다. 그러나 MySQL, SQLite 등 다른 많은 옵션도 있습니다.

동영상: TodoCode 데이터베이스 소개
읽기: TodoPostgreSQL의 DDL, DML 및 DCL의 차이점
비디오: Héctor de León의 저장 프로시저 #1
비디오: Héctor de León의 저장 프로시저 #2
비디오: Fazt의 MongoDB
동영상: MitoCode의 MongoDB

SQL

또한 관계형 데이터베이스를 관리하고 조작하기 위한 쿼리 언어인 SQL을 배우게 됩니다.

비디오: LATAM 데이터 엔지니어링의 SQL
Kaggle의 SQL 소개
캐글 고급 SQL

? 설계

이제 우리는 데이터베이스, 데이터 레이크, 데이터 웨어하우스, 스키마 등을 설계하는 데 도움이 되는 고급 개념을 계속해서 다루고 있습니다.

동영상: 언제 SQL을 사용하고 언제 NoSQL을 사용합니까? 헥터 데 레온
비디오: NoSQL 데이터베이스는 어떻게 모델링됩니까? 헬로월드에서
읽기: Oracle 그래프 기반 데이터베이스
비디오: 그래프 데이터베이스, Datahack 기초 및 실습

빅데이터

다음은 빅데이터의 몇 가지 개념을 이해하는 것이다. 게다가 너무 깊이 파고들지 않고도 인공지능, 비즈니스 인텔리전스, 데이터 분석에 대한 기본 지식을 습득할 수 있어 흥미롭다.

기초

비디오: Datahack 입문자를 위한 빅 데이터
읽기: 빅 데이터: 빅 데이터란 무엇이며 내 비즈니스에 어떻게 도움이 되나요? Salesforce에서
인증: Universidad del Rosario의 빅 데이터를 사용하여 IoT 솔루션을 설계 및 프로그래밍
인증: 캘리포니아대학교 샌디에고 캠퍼스 빅데이터
비디오: 빅 데이터 및 Databits 개인 정보 보호
동영상: 스마트 데이터 데이터 거버넌스
비디오: 소프트웨어 전문가가 제공하는 예산 초과 없이 데이터 거버넌스를 시작하는 방법

분석 및 데이터 탐색

인증: Microsoft 및 LinkedIn의 데이터 분석 전문 기초
인증: Google 데이터 분석 전문가 인증서
인증: IBM 데이터 분석가 전문가 인증서
과정: FreeCodeCamp의 Python을 사용한 데이터 분석
비디오: 스토리텔링: 콘텐츠를 스토리로 바꾸는 방법은 무엇입니까? 작성자: Coderhouse

통계

? 인공지능

과정: FreeCodeCamp의 Python을 사용한 기계 학습
채널: Ligdi Gonzalez와 함께하는 LearnIA
동영상: Dot CSV에서 인공 지능 배우기
비디오: Datalytics 데이터 엔지니어링에서 ChatGPT를 사용하는 방법
강좌: 컬럼비아 대학교 자막이 있는 인공 지능

? 비즈니스 인텔리전스

동영상: Google Career 자막이 포함된 Google 비즈니스 인텔리전스 인증서
비디오: 모두를 위한 비즈니스 인텔리전스! 작성자: PEALCALA

DataViz

데이터 처리

이 섹션에서는 데이터 엔지니어링의 핵심이며, 데이터 파이프라인이 무엇인지, ETL이 무엇인지, 오케스트레이터가 무엇인지 등에 대해 알아봅니다. 또한, 앞으로 각각의 자료로 업데이트할 주요 개념 목록을 남겨두었습니다. 자세히 배우고 싶으신 분은 저장소에 업로드된 도서를 검색하시면 됩니다.

채널: CodinEric
채널: 데이터 엔지니어링 LATAM
채널: 데이터데미아
채널: 데이터리틱스
블로그: 시작(영어)
DataWars 학습 플랫폼

? ETL 및 데이터 파이프라인

비디오: 데이터 엔지니어링: RockingData 데이터 프로젝트의 중심으로의 여정
비디오: 진정한 데이터 엔지니어가 되는 방법은 무엇입니까? 작성자: Databits
동영상: Rocio Chavez의 Python에서의 데이터 전처리
비디오: R의 데이터 전처리 - Rocio Chavez
비디오: A/B 테스팅: SantanDev의 의견이 아닌 데이터
증분 로드
메시징 대기열
크론 표현식

❄️ 고급 데이터베이스

관계형 모델
차원 모델
사실과 차원
Datalake, Datamart, Datawarehouse 및 Dataqube
열 기반 및 행 기반 레이아웃
별과 눈송이 구성표
읽기 및 쓰기 구성표

? 오케스트레이터

동영상: LATAM 데이터 엔지니어링의 Airflow
비디오: Apache Airflow를 사용한 아이디어 자동화 - Software Guru의 Yesi Díaz
동영상: LEARNING-BI의 펜타호 스푼
동영상: Seattle Data Guy 자막이 포함된 Luigi
읽기: Microsoft의 Azure Data Factory

? 아키텍처

일괄 데이터 처리
실시간 처리 또는 스트리밍
람다 및 카파 아키텍처
읽기: AWS OLAP와 OLTP의 주요 차이점
비디오: Databits Spark를 사용하여 일괄 처리 및 스트리밍으로 ETL 구축
읽기 자료: Atlassian Virtual Machines 및 컨테이너 비교
비디오: Nerd의 Docker 껍질 벗기기
동영상: Pelado Nerd의 Kubernetes
읽기: 분산 시스템이란 무엇입니까? 작성자: Atlassian
동영상: LATAM 데이터 엔지니어링의 Spark
비디오: Spark Mexico 데이터 엔지니어링을 위한 코드형 인프라
비디오: NullSafe Architect의 Apache Spark
비디오: NullSafe Architect의 Apache Kafka

? 테스트

비디오: 위대한 기대: PyConAr 2020에서 CodingEric이 전문가처럼 데이터 파이프라인 검증
비디오: #QSConf 2023에서 Patricio Miner가 작성한 Python을 사용한 ETL 테스트 및 자동화

구름

클라우드 컴퓨팅에 대한 지식이 있으면 유용합니다. 이 시점에서는 공식 자격증 준비를 고려해 보시길 권해 드립니다. 이러한 시험에는 일반적으로 비용이 들지만 업계에서 가장 유명한 제공업체로부터 무료 공식 준비 리소스를 찾을 수 있습니다.

☁️ 클라우드 기본 사항

비디오: Datahack 클라우드 컴퓨팅 기초
읽기: Platzi 클라우드의 장점과 단점 알아보기
읽기 자료: Platzi의 클라우드 빅 데이터 아키텍처

공식인증

Google 클라우드 데이터 엔지니어링
- 동영상: 빅데이터 학습의 Google Cloud(GCP)
Microsoft Azure 데이터 엔지니어링
- 동영상: Azure by Data Engineering LATAM
- 동영상: 빅 데이터 학습을 통한 Azure 인증
Microsoft Azure Fabric을 사용한 데이터 엔지니어링
AWS 데이터 엔지니어링
- 동영상: 라틴 아메리카 데이터 엔지니어링의 AWS