Khóa học được thiết kế dành cho các kỹ sư dữ liệu muốn làm chủ Databricks và kiến trúc Lakehouse thông qua các bài lab và dự án thực tế. Học viên sẽ học cách xây dựng, tối ưu và quản lý data pipeline end-to-end với Delta Lake, Spark, Streaming và Unity Catalog. Không chỉ nắm vững kiến thức nền tảng để thi chứng chỉ Databricks Data Engineer Professional, bạn còn có kinh nghiệm thực chiến để triển khai ngay trong doanh nghiệp.
Original price was: 13.990.000 ₫.9.790.000 ₫Current price is: 9.790.000 ₫.
Trong kỷ nguyên dữ liệu, doanh nghiệp không chỉ cần lưu trữ mà còn phải xử lý, khai thác và quản trị dữ liệu một cách nhanh chóng và hiệu quả. Databricks với kiến trúc Lakehouse đang trở thành nền tảng hàng đầu để xây dựng hệ thống dữ liệu hiện đại, kết hợp sức mạnh của Data Lake và Data Warehouse. Tuy nhiên, để triển khai Databricks thành công, kỹ sư dữ liệu cần có kiến thức nền tảng vững chắc và kỹ năng thực chiến. Đây chính là mục tiêu của khóa học Thực chiến Databricks Data Engineering – giúp học viên vừa nắm kiến thức, vừa thực hành trên các dự án sát thực tế, đồng thời chuẩn bị sẵn sàng cho chứng chỉ Databricks Data Engineer Professional.
Khóa học được thiết kế cho:
– Data Engineer muốn làm chủ Databricks và tối ưu data pipelines.
– Data Analyst / BI Developer mong muốn mở rộng sang mảng xử lý dữ liệu lớn và tự động hóa ETL.
– Software Engineer muốn chuyển hướng sang lĩnh vực Data Engineering.
– Sinh viên hoặc người mới bước vào ngành dữ liệu có nền tảng Python/SQL cơ bản, muốn tiếp cận nhanh công cụ dữ liệu thực tế.
– Chuyên gia dữ liệu trong doanh nghiệp cần ứng dụng Databricks để giải quyết các bài toán ingestion, batch/streaming, CDC và quản trị dữ liệu.
Nội dung khóa học
Khóa học kéo dài 8 tuần, gồm 16 buổi (40 giờ học), kết hợp 40% lý thuyết và 60% thực hành. Nội dung chính:
– Nền tảng Lakehouse, Delta Lake và Spark SQL.
– Xây dựng ETL/ELT pipelines với batch & streaming.
– Delta Lake nâng cao: CDC, Time Travel, Optimize, Z-Order.
– Orchestration với Databricks Workflows & CI/CD.
– Performance tuning & Spark optimization.
– Unity Catalog, bảo mật và quản trị dữ liệu.
– Capstone Project: Xây dựng end-to-end pipeline từ Kafka → Delta Lake → Power BI.
Học viên sẽ được luyện tập qua nhiều lab thực chiến và một dự án cuối khóa, đảm bảo kiến thức có thể áp dụng ngay vào công việc.
Khóa học được dẫn dắt bởi Sinh Hoàng, hiện là Data & Analytics Delivery Manager tại CMC Global. Với nhiều năm kinh nghiệm triển khai các hệ thống Data Platform, Hadoop, Kafka, OpenMetadata, Power BI và Databricks, Sinh đã trực tiếp quản lý và dẫn dắt các dự án dữ liệu quy mô lớn trong lĩnh vực tài chính, ngân hàng và doanh nghiệp. Mentor không chỉ mang đến kiến thức nền tảng và lộ trình luyện thi chứng chỉ Databricks Data Engineer Professional, mà còn chia sẻ các best practices và kinh nghiệm thực chiến từ môi trường dự án thực tế.
Buổi 1: Giới thiệu Databricks và Lakehouse
– Khảo sát đầu khóa
– Giới thiệu Databricks và chứng chỉ Databricks Data Engineer Professional
– Tổng quan Lakehouse Architecture
– Delta Lake
– Tích hợp Storage với Databricks
– Quick Test
Buổi 2: Spark Basics + SQL
– Giới thiệu về Spark và Spark Architecture
– Spark DataFrame API cơ bản
– Lazy Evaluation & Action vs Transformation
– Spark SQL cơ bản
– ETL dữ liệu khách hàng (CSV → Delta Table)
– Quick Test
Buổi 3: DataFrame nâng cao
– Joins trong Spark DataFrame
– Aggregations nâng cao
– Window Functions
– Tính dư nợ khách hàng theo thời gian
– Quick Test
Buổi 4: Spark Optimization
– Giới thiệu Spark Optimization
– Explain Plan cơ bản
– Broadcast Join vs Shuffle Join
– Cache & Persist
– Giới thiệu Catalyst & Tungsten
– Tối ưu job ETL
– Quick Test
Buổi 5: Delta Lake Core
– Delta Lake
– Tạo delta table và thực hành các thao tác cơ bản
– Quick Test
Buổi 6: Slowly Changing Dimension (SCD)
– SCD là gì
– Delta Table và Hỗ trợ SCD
– Xây dựng SCD Type 2 cho dữ liệu khách hàng
– Quick Test
Buổi 7: Structured Streaming cơ bản
– Giới thiệu Structured Streaming
– Source trong Structured Streaming
– Sink trong Structured Streaming
– Trigger và Checkpoint
– Stream log giao dịch ATM
– Quick Test
Buổi 8: Streaming với Kafka
– Giới thiệu Kafka
– Kafka Integration với Spark
– Handling Late Data
– Stream đơn hàng e-commerce từ Kafka
– Quick Test
Buổi 9: Databricks Workflows
– Giới thiệu Databricks Workflows
– Task Dependencies
– Error Handling & Retry
– Workflow ETL batch orders → Delta Lake
– Quick Test
Buổi 10: Airflow Integration (overview)
– Giới thiệu Airflow
– Airflow DAGs
– Databricks Operator trong Airflow
– Orchestrate Batch + Streaming
– Tạo DAG orchestrate ETL + streaming job (demo)
– Quick Test
Buổi 11: Cluster & Cost Optimization
– Giới thiệu Cluster trong Databricks
– Autoscaling Cluster
– Spot vs On-Demand Instances
– Monitoring & Cost Management
– Benchmark Cost cho ETL Job
– Quick Test
Buổi 12: Query Optimization
– Giới thiệu Query Optimization trong Databricks
– Partitioning
– Z-order Clustering
– Caching
– Optimize Command
– Benchmark Queries
– Quick Test
Buổi 13: Unity Catalog & Data Governance
– Giới thiệu Data Governance
– Unity Catalog Overview
– Data Lineage
– Audit Logs
– Role-based Access Control (RBAC)
– Thực hành quản trị dữ liệu với Uniy Catalog
– Quick Test
Buổi 14: Data Security Essentials
– Giới thiệu Data Security
– Row-level Security (RLS)
– Column-level Security (CLS)
– Data Masking
– Thực hành Masking tài khoản ngân hàng và phân quyền dữ liệu theo RLS và CLS
– Quick Test
Buổi 15: BI & SQL + Monitoring
– Databricks SQL
– BI Integration
– Monitoring jobs
– Báo cáo churn analysis + monitor Spark jobs
– Quick Test
Buổi 16: Data Quality & Case Study + Mock Exam
– Data Quality với Great Expectations
– Case Study
– Mock Exam – 60 câu trắc nghiệm
– Quick Test
– Tổng kết khóa học
Sau khi hoàn thành khóa học, học viên sẽ:
