ETL・データパイプライン構築

2025.11.20

🔄 ETL・データパイプライン構築

データ抽出・変換・ロードの全工程を学び、Apache Airflowで本格的なパイプラインを構築できるようになります

📖 コース概要

このコースでは、データエンジニアリングの中核スキルであるETL（Extract, Transform, Load）とデータパイプライン構築を体系的に学習します。PythonとPandasによるデータ処理から、Apache Airflowを使った本格的なワークフローオーケストレーションまで、実務で即戦力となるスキルを習得できます。API連携、データベース操作、クラウド連携など、現場で必要な技術を網羅しています。

【推奨環境】

Python 3.10以降

pandas 2.0以降

Apache Airflow 2.0以降（STEP 19以降で使用）

レベル

中級

学習時間

62時間

ステップ数

26ステップ

料金

無料

📋 前提条件

Pythonプログラミング基礎コース修了（必須）
SQL基礎コース修了（必須）
Pythonデータ分析入門コース修了（強く推奨）
SQL応用・パフォーマンス最適化コース修了（推奨）

📚 Part 1: ETLの基礎概念（ステップ1-6）

ETLとは何か

データパイプラインの基礎概念と、ETLが実務で果たす役割を理解します。

Extract、Transform、Loadの概念
データパイプラインの重要性
バッチ処理 vs ストリーミング処理
実務でのETLの役割

データソースの理解

様々なデータソースの特性と、それぞれの取り扱い方を学びます。

データベース（RDBMS）
ファイル（CSV、JSON、Excel）
API（REST API）
ログファイル

PythonでのDB接続基礎

Pythonからデータベースへアクセスする基本を習得します。

psycopg2（PostgreSQL）
SQLiteの接続
接続プールの基礎
エラーハンドリング

練習問題8問

SQLによるデータ抽出

効率的なデータ抽出のためのSQL技術を学びます。

SELECT文の復習
WHERE句による絞り込み
JOINを使った複数テーブル抽出
増分抽出の考え方（WHERE created_at > ?）

練習問題10問

API・Webスクレイピング基礎

WebAPIからのデータ取得とスクレイピングの基本を習得します。

REST APIの呼び出し
JSONレスポンスの処理
ページネーション
認証（APIキー、Bearer Token）
Beautiful Soupの基礎
HTML解析
倫理的なスクレイピング

練習問題10問

⏱️ 2.5時間

大容量ファイル処理

メモリに収まらない大容量データの効率的な処理方法を学びます。

チャンク処理（chunksize）
dtype指定によるメモリ削減
並列読み込み
ストリーミング処理の紹介
実践演習：10GBのCSVファイル処理

🔄 Part 2: データ変換（Transform）（ステップ7-13）

Pandasによるデータクリーニング①

欠損値や重複データの処理など、データクリーニングの基本を学びます。

欠損値の処理（削除、補完、検出）
重複データの処理
データ型の確認と変換

練習問題10問

⏱️ 2.5時間

Pandasによるデータクリーニング②

異常値検出と正規化など、高度なクリーニング技術を習得します。

異常値の検出と対処
外れ値の処理
データの正規化
実践演習：汚いデータをクリーニング

⏱️ 2.5時間

データ変換の基本パターン

実務でよく使われるデータ変換の基本パターンを習得します。

カラムの追加・削除・変更
文字列操作（split、strip、replace）
日付データの処理
カテゴリデータの変換

練習問題15問

⏱️ 2.5時間

ステップ 10

データ結合とマージ

複数のデータソースを統合する技術を学びます。

merge（SQLのJOINと同様）
concat（縦横連結）
join（インデックスベース結合）
複数テーブルの結合戦略
実践演習：顧客データと注文データの統合

⏱️ 2.5時間

ステップ 11

集計と集約

グループ化と集計により、有益なレポートを作成します。

groupbyによる集計
pivot_tableの作成
時系列データの集約
実践演習：売上レポートの作成

⏱️ 2.5時間

ステップ 12

データ検証とバリデーション

データ品質を保証するための検証方法を習得します。

データ品質チェックの重要性
スキーマ検証
範囲チェック、NULLチェック
Great Expectations入門
実践演習：データ品質レポート作成

ステップ 13

複雑なデータ変換の実践

apply、map、applymap を使いこなし、高度な変換を実現します。

apply、map、applymap の使い分け
lambda関数の活用
カスタム変換関数の作成

練習問題10問

⏱️ 1.5時間

💾 Part 3: データロード（Load）（ステップ14-18）

ステップ 14

データベースへのロード

処理済みデータを効率的にデータベースへ格納する方法を学びます。

to_sqlメソッドの使い方
バルクインサート
UPSERTの実装
トランザクション管理

練習問題10問

ステップ 15

ファイルへのエクスポート

様々な形式でのファイル出力方法を習得します。

CSVファイル出力
Excelファイル出力
JSONファイル出力
Parquet形式（効率的なデータ保存）
実践演習：レポートファイルの生成

ステップ 16

クラウドストレージへのロード

AWS S3やGCSへのデータアップロード方法を学びます。

AWS S3へのアップロード（boto3基礎）
GCSへのアップロード（google-cloud-storage基礎）
ファイル構造の設計（パーティショニング）
実践演習：集計結果をS3に日次保存

ステップ 17

エラーハンドリングとロギング

堅牢なETLスクリプトに必須のエラー処理を習得します。

try-exceptの実践的な使い方
loggingモジュールの活用
エラー発生時のリトライ戦略
ログファイルの設計
実践演習：堅牢なETLスクリプト作成

ステップ 18

パフォーマンス最適化

大規模データを高速処理するための最適化技術を学びます。

チャンクによる分割処理
マルチプロセス処理
メモリ効率化
SQL最適化とETLの連携
実践演習：100万件データの高速処理

🔧 Part 4: Apache Airflow（ステップ19-25）

ステップ 19

Airflowとは何か

ワークフローオーケストレーションツールAirflowの基礎を理解します。

ワークフローオーケストレーションの必要性
Airflowのアーキテクチャ
DAG（有向非巡回グラフ）の概念
Airflowのインストールと環境構築

ステップ 20

初めてのDAG作成

Airflowの基本単位であるDAGを実際に作成します。

DAGファイルの構造
Operatorの種類（PythonOperator、BashOperator）
タスクの定義
タスク依存関係の設定
実践演習：シンプルなDAG作成

ステップ 21

スケジュール実行とトリガー

DAGの自動実行スケジュールを設定し、定期実行を実現します。

cronライクなスケジュール設定
start_dateとschedule_intervalの理解
バックフィル（過去実行）
手動トリガー
実践演習：毎日朝9時実行のパイプライン

ステップ 22

タスク間のデータ受け渡し

XComを使ったタスク間のデータ連携方法を習得します。

XCom（クロスコミュニケーション）
TaskFlow APIの使い方
変数（Variables）の管理
コネクション（Connections）の設定
実践演習：タスク間でデータを引き継ぐDAG

ステップ 23

Operatorの活用

様々なOperatorを使いこなし、複雑なワークフローを構築します。

PythonOperatorの詳細
BashOperatorの活用
EmailOperator（通知）
SlackOperator（通知）
カスタムOperatorの作成

練習問題8問

⏱️ 2.5時間

ステップ 24

エラーハンドリングとモニタリング

本番運用に耐える堅牢なパイプラインを構築します。

リトライ設定
タイムアウト設定
エラー通知（メール、Slack）
DAGの監視とログ確認
実践演習：堅牢なパイプライン設計

ステップ 25

実践ETLパイプライン構築

売上データの日次集計パイプラインを一から構築します。

お題：売上データの日次集計パイプライン
データ抽出タスク（複数DB）
データ変換タスク（Pandas処理）
データロードタスク（DWHへ投入）
レポート生成タスク（CSV出力）
エラー通知の実装

実践プロジェクト

⏱️ 3.5時間

🎯 Part 5: 総合演習（ステップ26）

ステップ 26

最終プロジェクト

複数のデータソースを統合する実践的なパイプラインを完成させます。

お題：多ソース統合パイプライン
Task 1: APIから注文データ取得
Task 2: データベースから商品情報抽出
Task 3: CSVから顧客情報読み込み
Task 4: 3つのソースを統合
Task 5: データ品質チェック
Task 6: データ変換と集計
Task 7: DWHへのロード
Task 8: S3にレポート保存
Task 9: Slack通知

総合プロジェクト

⏱️ 3.5時間