[中字] 数据工程：从零基础到高手课程（中文字幕英文视频教程

） 本课程旨在助力学习者全面且深入地理解数据工程这一领域。通过系统学习，让学习者明晰数据在当今技术驱动型世界中，是如何被采集、转换、存储以及运用的。无论你是怀揣数据职业梦想的追梦者、满怀好奇的开发者，还是计划转换职业赛道的数据爱好者，本课程都将引领你逐步掌握现代企业数据管道背后的核心概念、关键工具以及底层架构，为你在数据工程领域的发展筑牢根基。 课程内容 课程导入：在课程开篇，将热情欢迎学习者加入本次学习之旅，详细介绍授课教师、学员群体以及本课程的特色与目标。同时，还会给出详尽的课程大纲，帮助学习者提前规划学习路径，让后续的学习更具方向性。 数据工程概论：深入阐释数据工程的定义与内涵，清晰界定数据工程师的角色与职责，全面剖析数据工程所需的技能体系与常用工具。通过这部分内容的学习，学习者将对数据工程领域形成初步的整体认知。 数据工程生态系统：从计算机基础知识讲起，对比本地部署与云计算的差异，介绍丰富多样的云服务。深入探讨数据的本质、结构、类型以及格式，分析大数据的特性，对比分析型世界与运营型世界的区别。这部分内容将帮助学习者构建起数据工程生态系统的知识框架。 从数据源到数据目标：细致讲解数据的来源，包括操作型数据库、应用程序编程接口（API）等；深入介绍数据存储库，如数据仓库、数据湖和数据集市，以及非关系型数据库和 API 在数据存储中的应用；阐述数据管道的概念，对比批处理与实时处理的特点。学习者将在这部分内容中，掌握数据从产生到存储的完整流程。 数据建模：系统介绍数据建模的概念与重要性，深入讲解星型模式、雪花模式等常见数据模型，包括事实表、维度表的设计，通过实际案例展示如何构建数据模型。此外，还会介绍数据仓库建模中的 Data Vault 模型以及数据湖架构中的 Medallion 模型，并给出 Medallion 模型的实际应用案例，最后讲解如何优化商业智能（BI）解决方案。通过这部分学习，学习者将具备构建和优化数据模型的能力。 数据整理：详细解释数据整理的概念，重点讲解数据清洗的各个环节，如数据去重、处理缺失数据、数据标准化，通过 SQL 实际案例展示数据清洗过程。同时，介绍数据转换的方法，包括排序、聚合、过滤、窗口函数等，以及数据验证的要点。学习者将在这部分内容中，掌握数据整理的核心技能，确保数据的质量与可用性。 编排数据管道：阐释数据管道编排的概念，引入 Airflow 这一强大的编排工具，介绍其基本原理与快速使用方法，讲解有向无环图（DAGs）、任务与依赖关系、操作符与传感器等核心概念，并通过实际案例展示如何使用 Airflow 编排数据管道，最后带领学习者游览 Airflow 用户界面（UI）。通过这部分学习，学习者将能够运用 Airflow 实现数据管道的自动化编排与管理。 课程特色 本课程采用理论与实践紧密结合的教学模式。在讲解过程中，穿插大量生动、真实的案例，帮助学习者更好地理解抽象的概念与复杂的技术。同时，课程配备丰富的视频资源，每段视频都搭配对应的中文字幕文件，方便学习者学习与理解。此外，课程还设置了阶段性总结视频，帮助学习者回顾重点内容，强化学习效果。通过本课程的学习，学习者将对数据工程领域有全面且深入的理解，具备扎实的理论基础与实践能力，为后续深入学习专业工具以及开展实际项目工作，奠定坚实的基础。