



资源介绍
(中文字幕英文视频教程)
在数据驱动的时代,高效、可靠地处理和转换数据是每个数据团队的核心能力。dbt Core(Data Build Tool)作为一款开源的命令行工具,正迅速成为数据工程师、分析师和数据科学家的首选工具。它通过将数据转换逻辑以 SQL 的形式进行模块化、版本化和测试,彻底改变了传统的 ETL(Extract, Transform, Load)流程,转向更灵活、更强大的 ELT(Extract, Load, Transform)模式。
本课程《从零开始学 dbt Core - 2 小时构建你的第一个项目》旨在为零基础的学习者提供一个快速、系统的入门指南。无论你是刚刚接触数据工程的新人,还是希望提升现有数据处理流程效率的专业人士,本课程都将带你从零开始,一步步掌握 dbt Core 的核心概念与实战技能。
课程设计遵循 “理论与实践相结合” 的原则,每个章节都配有清晰的视频讲解和相应的项目文件,让你能够边学边练,在实践中巩固知识。通过本课程的学习,你将能够独立搭建 dbt 项目,编写和组织模型,利用宏来复用代码,并通过测试来保障数据质量,最终构建出一个结构清晰、可维护的数据管道。
课程内容概览
本课程精心设计了六个核心模块,循序渐进地引导你深入 dbt Core 的世界。
1. dbt Core 简介 (Introduction to dbt Core)
作为课程的开篇,本模块将带你认识 dbt Core。你将了解到 ELT 与传统 ETL 的根本区别,以及为什么 dbt Core 能成为现代数据栈(Modern Data Stack)中的关键一环。我们会清晰地定义什么是 dbt,并概述其核心优势,如版本控制、自动化测试、文档生成等,为你后续的学习奠定坚实的理论基础。
2. dbt Core 环境配置 (Configuration of dbt Core)
工欲善其事,必先利其器。在这一模块,我们将手把手教你如何搭建 dbt Core 的开发环境。内容包括:
数据库的准备与设置。
在 Windows 和 Linux 两种主流操作系统上安装 dbt Core 的详细步骤。
关键配置文件profiles.yml的设置方法,确保 dbt 能够成功连接到你的数据仓库。
3. 数据源 (Sources)
数据是一切分析的基础。本模块将介绍如何在 dbt 中定义和管理你的数据源。你将学习如何通过 YAML 文件声明数据源(Sources),如何配置数据源的 “新鲜度”(Freshness)测试以监控数据加载情况,以及如何利用 dbt 内置的测试和自定义测试来验证源数据的质量,确保数据在进入转换流程之前是准确和可靠的。
4. 模型 (Models)
模型是 dbt 项目的核心,是你数据转换逻辑的具体体现。这一模块是课程的重点,你将学习:
如何编写 SQL 模型来转换数据。
如何使用 YAML 文件为模型添加描述、标签和配置。
如何通过ref()函数建立模型间的依赖关系,构建复杂的数据转换 DAG(有向无环图)。
模型的目标数据库、schema 和别名设置。
dbt 的核心概念 —— 物化(Materialization),包括表(Table)、视图(View)、增量模型(Incremental)等,并理解在不同场景下如何选择合适的物化策略来优化性能。
如何创建增量模型,以高效地处理大规模数据,只对新增或变化的数据进行处理。
5. 宏 (Macros)
宏是 dbt 中用于代码复用和逻辑抽象的强大工具,类似于编程语言中的函数。在本模块,你将学习如何编写和使用宏来封装重复的 SQL 逻辑,从而让你的模型代码更加简洁、优雅和易于维护。我们还将介绍如何通过dbt deps命令管理和使用社区贡献的宏包(如dbt_utils),极大地扩展你的工具箱。
6. 种子文件与文档 (Seeds and Docs)
本模块将介绍 dbt 的另外两个实用功能:种子文件和文档。
种子文件 (Seeds):你将学习如何将 CSV 等格式的静态数据(如产品目录、国家代码表)加载到数据仓库中,并将其作为模型的一部分进行版本控制。
文档 (Docs):dbt 能够自动生成数据模型的可视化文档网站。你将学习如何为模型、列添加描述,并使用dbt docs generate和dbt docs serve命令生成并浏览交互式的数据字典和 lineage 图,让你的数据资产更加透明和易于理解。
课程特点
内容精炼,直击要害:课程总时长控制在 2 小时以内,聚焦于最核心、最实用的知识点,让你能够快速上手。
实战驱动,边学边练:每个章节都配有完整的项目文件,你可以直接下载并跟随视频进行操作,在实践中掌握 dbt 的精髓。
结构清晰,循序渐进:从概念介绍到环境搭建,再到模型开发、测试和文档,课程逻辑清晰,难度逐步提升。
中文讲解,轻松理解:所有视频均配有中文讲解和中文字幕(.srt 文件),消除了语言障碍,让你能够更专注于技术本身。
资源丰富,持续更新:课程提供了完整的项目代码和配置文件,方便你随时查阅和复用。
学习收获
完成本课程后,你将能够:
清晰理解 dbt Core 的核心概念和 ELT 工作流。
独立搭建并配置 dbt Core 开发环境。
创建和管理 dbt 项目,编写可维护的 SQL 模型。
利用宏来抽象和复用 SQL 逻辑。
为数据模型编写测试,保障数据质量。
使用种子文件管理静态数据。
生成专业的数据模型文档。
如果你渴望提升自己的数据处理能力,构建更健壮、更高效的数据管道,那么《从零开始学 dbt Core - 2 小时构建你的第一个项目》将是你开启数据工程新篇章的理想起点。现在就加入我们,一起探索 dbt Core 的强大魅力吧!