データ基盤入門
FDE が顧客現場で必ず向き合う「データがどこにどう流れているか」を理解する。ETL・API・DWH といった基本用語から、パイプラインの監視まで。
入門5 レッスンEngineering TrackStrategy Track
- 1.ETLとはデータを取り出し(Extract)、変換し(Transform)、格納する(Load)一連の流れ。ELT との違いと、現場でよくある失敗。入門
- 2.APIとはシステム同士が会話するための取り決め。REST / Webhook / バッチ連携の使い分けと、顧客の既存システムに接続するときの確認事項。入門
- 3.データウェアハウスとレイクハウスDWH・データレイク・レイクハウスの違いと、顧客がどれを持っているかで変わる提案の前提。基礎
- 4.データ品質とリネージ「このデータは信用できるか」に答えるための考え方。欠損・重複・鮮度と、上流からの来歴を追う方法。基礎
- 5.パイプラインの監視と運用本番で動き続けるパイプラインに必要な監視・アラート・再実行の設計。顧客へ引き渡すときの運用設計まで。応用