Buổi 1: Giới thiệu Databricks và Lakehouse

– Khảo sát đầu khóa

– Giới thiệu Databricks và chứng chỉ Databricks Data Engineer Professional

– Tổng quan Lakehouse Architecture

– Delta Lake

– Tích hợp Storage với Databricks

– Quick Test

Buổi 2: Spark Basics + SQL

– Giới thiệu về Spark và Spark Architecture

– Spark DataFrame API cơ bản

– Lazy Evaluation & Action vs Transformation

– Spark SQL cơ bản

– ETL dữ liệu khách hàng (CSV → Delta Table)

– Quick Test

Buổi 3: DataFrame nâng cao

– Joins trong Spark DataFrame

– Aggregations nâng cao

– Window Functions

– Tính dư nợ khách hàng theo thời gian

– Quick Test

Buổi 4: Spark Optimization

– Giới thiệu Spark Optimization

– Explain Plan cơ bản

– Broadcast Join vs Shuffle Join

– Cache & Persist

– Giới thiệu Catalyst & Tungsten

– Tối ưu job ETL

– Quick Test

Buổi 5: Delta Lake Core

– Delta Lake

– Tạo delta table và thực hành các thao tác cơ bản

– Quick Test

Buổi 6: Slowly Changing Dimension (SCD)

– SCD là gì

– Delta Table và Hỗ trợ SCD

– Xây dựng SCD Type 2 cho dữ liệu khách hàng

– Quick Test

Buổi 7: Structured Streaming cơ bản

– Giới thiệu Structured Streaming

– Source trong Structured Streaming

– Sink trong Structured Streaming

– Trigger và Checkpoint

– Stream log giao dịch ATM

– Quick Test

Buổi 8: Streaming với Kafka

– Giới thiệu Kafka

– Kafka Integration với Spark

– Handling Late Data

– Stream đơn hàng e-commerce từ Kafka

– Quick Test

Buổi 9: Databricks Workflows

– Giới thiệu Databricks Workflows

– Task Dependencies

– Error Handling & Retry

– Workflow ETL batch orders → Delta Lake

– Quick Test

Buổi 10: Airflow Integration (overview)

– Giới thiệu Airflow

– Airflow DAGs

– Databricks Operator trong Airflow

– Orchestrate Batch + Streaming

– Tạo DAG orchestrate ETL + streaming job (demo)

– Quick Test

Buổi 11: Cluster & Cost Optimization

– Giới thiệu Cluster trong Databricks

– Autoscaling Cluster

– Spot vs On-Demand Instances

– Monitoring & Cost Management

– Benchmark Cost cho ETL Job

– Quick Test

Buổi 12: Query Optimization

– Giới thiệu Query Optimization trong Databricks

– Partitioning

– Z-order Clustering

– Caching

– Optimize Command

– Benchmark Queries

– Quick Test

Buổi 13: Unity Catalog & Data Governance

– Giới thiệu Data Governance

– Unity Catalog Overview

– Data Lineage

– Audit Logs

– Role-based Access Control (RBAC)

– Thực hành quản trị dữ liệu với Uniy Catalog

– Quick Test

Buổi 14: Data Security Essentials

– Giới thiệu Data Security

– Row-level Security (RLS)

– Column-level Security (CLS)

– Data Masking

– Thực hành Masking tài khoản ngân hàng và phân quyền dữ liệu theo RLS và CLS

– Quick Test

Buổi 15: BI & SQL + Monitoring

– Databricks SQL

– BI Integration

– Monitoring jobs

– Báo cáo churn analysis + monitor Spark jobs

– Quick Test

Buổi 16: Data Quality & Case Study + Mock Exam

– Data Quality với Great Expectations

– Case Study

– Mock Exam – 60 câu trắc nghiệm

– Quick Test

– Tổng kết khóa học