dataengineering roadmapダウンロード - dataengineering roadmapソースコードのダウンロード

dataengineering roadmap

AI ソースコード

1.0.0

ダウンロード

ロードマップ 2024 - スペイン語のデータエンジニアリング

スペイン語のデータエンジニアリングに関する基本概念、技術的課題、リソースを備えたリポジトリがもう 1 つありますか?

リポジトリに貢献しませんか?貢献ガイドにアクセスしてください

注: 以下の学習ルートは、インターネット上で見つけたスペイン語の無料資料を使用して、データエンジニアリングに興味のある人々の学習を促進するという考えのもと、個人的な裁量で設計されています。これは決定的なガイドやコースではなく、コミュニティからの貢献によって時間の経過とともに改善できるリソースのリストです。

英語のデータエンジニアリング書籍

DE のデザインパターン (英語)

ロードマップの図

プログラミング

基本

プログラミングとロジックの基本概念を理解することから始めます。このセクションは、選択したプログラミング言語の学習と同時に開発できます。

コース: Platzi 基本プログラミング
ビデオ: アルゴリズムと TodoCode プログラミングの概要
ビデオ: TodoCode 疑似コードの演習
ビデオ: Datademia コマンドライン
ビデオ: Fazt による Bash スクリプト
読書: Microsoft Learn の Linux コマンドラインとシェルの概要

?プログラミング言語

学習が容易であり、今日の業界で広く普及しているため、Python から始めることをお勧めします。ただし、データ処理は R、Java、Scala、Julia などでも実行できることに注意することが重要です。

ビデオ: 0 からの Python by PildorasInformáticas
コース: FreeCodeCamp の Python による科学コンピューティング
コース: FreeCodeCamp の Python を使用した大学代数
コース: Harvard CS50 の Python によるプログラミング入門 (FreeCodeCamp による字幕付き)
コース: FreeCodeCamp の字幕付き中級 Python
コース: Kaggle パンダ
ビデオ: Ada Lovecode による正規表現
ビデオ: BettaTech オブジェクト指向プログラミングの原則
ビデオ: Absolute による Minecraft で説明されたオブジェクト指向プログラミング
コース: 急いでいる人のためのジュリア、ミゲル・ラズ著

エクセル

Gitによるバージョン管理

バージョン管理について学ぶことは、チームで作業するときに有益であるだけでなく、プロジェクトに加えられた変更を追跡、理解、管理して、効率的で共同開発を維持する能力も提供します。

ビデオ: バージョン管理とは何ですか?また、それがプログラミングにとってそれほど重要であるのはなぜですか?データデミアによる
コース: MoureDev による Git と Github
ビデオ: TodoCode による Git と Github
読書: Git を正しく使用する (Attlasian 著)
ゲーム: Git ブランチングを学ぶ

その他のツール

ノートブック: Google Collab、Jupyter、または Deepnote
テキストエディタ: VSCode、Spyder、または Google IDX

データベース

基本

この例では、データベースについて学習します。使用するデータベースマネージャーの選択はあなたの裁量ですが、個人的には構造化データには PostgreSQL、非構造化データには MongoDB をお勧めします。ただし、MySQL、SQLite など、他にも多くのオプションがあります。

ビデオ: TodoCode データベースの概要
読書: TodoPostgreSQL の DDL、DML、DCL の違い
ビデオ: ストアドプロシージャ #1 (Héctor de León 著)
ビデオ: ストアドプロシージャ #2 (Héctor de León 著)
ビデオ: Fazt による MongoDB
ビデオ: MitoCode による MongoDB

SQL

また、リレーショナルデータベースを管理および操作するためのクエリ言語である SQL も学習します。

ビデオ: データエンジニアリング LATAM の SQL
Kaggle による SQL 入門
Kaggle の高度な SQL

?デザイン

ここでは、データベース、データレイク、データウェアハウス、スキーマなどの設計に役立つ、より高度な概念を続けます。

ビデオ: SQL をいつ使用するか、NoSQL をいつ使用するか?ヘクター・デ・レオン著
ビデオ: NoSQL データベースはどのようにモデル化されていますか? HelloWorldから
読書: Oracle グラフ指向データベース
ビデオ: グラフデータベース、データハックの基礎と実践

ビッグデータ

次に、ビッグデータの概念を理解することです。また、人工知能やビジネスインテリジェンス、データ分析などについて、深く掘り下げることなく基礎的な知識を身につけることができるのも興味深いです。

基本

ビデオ: データハックのダミーのためのビッグデータ
読書: ビッグデータ: それは何ですか? 私のビジネスにどのように役立ちますか?セールスフォースから
認定資格: ロサリオ大学のビッグデータを使用した IoT ソリューションの設計とプログラム
認定: カリフォルニア大学サンディエゴ校ビッグデータ
ビデオ: ビッグデータと Databits のプライバシー
ビデオ: スマートデータデータガバナンス
ビデオ: Software Guru による予算を超えずにデータガバナンスを始める方法

分析とデータ探索

認定資格: Professional Fundamentals of Data Analytics (Microsoft および LinkedIn より)
認定資格: Google データ分析プロフェッショナル認定資格
認定資格: IBM データ・アナリスト・プロフェッショナル認定資格
コース: FreeCodeCamp の Python を使用したデータ分析
ビデオ: ストーリーテリング: コンテンツをストーリーに変えるには?コーダーハウス著

統計

?人工知能

コース: FreeCodeCamp の Python による機械学習
チャンネル: Ligdi Gonzalez との LearnIA
ビデオ: ドット CSV から人工知能を学ぶ
ビデオ: Datalytics データエンジニアリングで ChatGPT を使用する方法
コース: コロンビア大学による人工知能の字幕付き

?ビジネスインテリジェンス

動画: Google Business Intelligence Certificate (Google Career の字幕付き)
ビデオ: ビジネスインテリジェンスを誰にでも! by ピールカラ

データビズ

データ処理

このセクションはデータエンジニアリングの中心であり、データパイプラインとは何か、ETL とは何か、オーケストレーターなどについて説明します。さらに、重要な概念のリストを残しておきます。これらの概念については、今後、それぞれのリソースで更新していきます。詳しく知りたい場合は、リポジトリにアップロードされている書籍を検索してください。

チャンネル: コディンエリック
チャネル: データエンジニアリング LATAM
チャンネル: データデミア
チャネル: データリティクス
ブログ: スタート (英語)
DataWars 学習プラットフォーム

? ETL とデータパイプライン

ビデオ: データエンジニアリング: RockingData データプロジェクトの中心への旅
ビデオ: 本物のデータエンジニアになるには?データビットによる
ビデオ: Rocio Chavez による Python でのデータ前処理
ビデオ: R でのデータ前処理 by Rocio Chavez
ビデオ: A/B テスト: SantanDev からの意見ではなくデータ
増分ロード
メッセージングキュー
Cron 式

❄️ 高度なデータベース

リレーショナルモデル
次元モデル
事実と次元
Datalake、Datamart、Datawarehouse、Dataqube
列ベースと行ベースのレイアウト
星と雪の結晶のスキーム
読み取り時および書き込み時スキーム

?オーケストレーター

ビデオ: データエンジニアリング LATAM からのエアフロー
ビデオ: Apache Airflow によるアイデアの自動化 - Software Guru の Yesi Díaz
動画: ペンタホスプーン by LEARNING-BI
ビデオ: ルイージ (字幕版: Seattle Data Guy)
読書: Microsoft の Azure Data Factory

?アーキテクチャ

バッチデータ処理
リアルタイム処理またはストリーミング
ラムダとカッパのアーキテクチャ
読書: AWS OLAP と OLTP の主な違い
ビデオ: Databits Spark を使用して ETL をバッチおよびストリーミングで構築する
読書: アトラシアンの仮想マシンとコンテナの比較
ビデオ: Peeling Nerd's Docker
ビデオ: Kubernetes by Pelado Nerd
読書: 分散システムとは何ですか?アトラシアン製
ビデオ: データエンジニアリング LATAM の Spark
ビデオ: Spark Mexico データエンジニアリングのコードとしてのインフラストラクチャ
ビデオ: NullSafe Architect による Apache Spark
ビデオ: NullSafe Architect による Apache Kafka

?テスト

ビデオ: 大きな期待: PyConAr 2020 での CodeEric によるプロのようにデータパイプラインを検証する
ビデオ: #QSConf 2023 での Patricio Miner による Python を使用した ETL テストとその自動化

雲

クラウドコンピューティングの知識があると便利です。この時点で、公的証明書の準備を検討することをお勧めします。これらの試験は通常有料ですが、業界で最もよく知られたプロバイダーから無料の公式準備リソースを見つけることができます。

☁️ クラウドの基本

ビデオ: データハッククラウドコンピューティングの基礎
読書: Platzi クラウドの長所と短所を理解する
読書: Platzi 著のクラウドにおけるビッグデータのアーキテクチャ

公式認定

Google Cloud データエンジニアリング
- ビデオ: Google Cloud (GCP) によるビッグデータの学習
Microsoft Azure データエンジニアリング
- ビデオ: Azure by Data Engineering LATAM
- ビデオ: ビッグデータの学習による Azure 認定資格
Microsoft Azure Fabricを使用したデータエンジニアリング
AWS データエンジニアリング
- ビデオ: データエンジニアリング LATAM の AWS