




资源介绍
视频数量:32个
总时长:1小时58分
课程介绍:
Microsoft Fabric企业级数据管道实战
数据孤岛是很多企业都会遇到的老大难问题。业务系统越建越多,数据分散在不同的数据库里,想做一份完整的经营分析报表,数据工程师就得在各个系统之间来回倒腾Excel表,操作繁琐不说,一旦某个环节出了问题,数据对不上,谁都说不清楚。这种情况在快速成长的企业里特别常见。
如果你正在经历类似的困境,或者你希望从根本上解决这个问题,那这门课值得你认真看看。它会手把手教你用Microsoft Fabric构建一套真实的企业级数据管道,把分散在不同系统里的数据自动汇聚到数据仓库里,让数据分析和报表生成变得可靠又高效。
先说说什么是数据管道。简单理解,它就是一条自动化搬运数据的流水线。你设定好规则,数据就会按计划从源头系统出发,经过清洗转换,最终到达目的地。整个过程不需要人工干预,而且结果可预期、可重复。Microsoft Fabric是微软推出的现代数据平台,它把数据存储、计算、开发工具都整合在一起,特别适合搭建企业级的数据架构。
课程第一部分是入门引导。你会搞清楚数据管道到底是怎么回事,了解行业里常用的关键术语,然后认识Microsoft Fabric在整个数据架构中的定位。微软还提供了免费Azure账户供你试用,这部分会带你一步步完成账户创建,为后面的实践做好准备。
接下来的Fabric环境配置是课程的重要基础。你需要先了解注册Microsoft Fabric的具体要求,然后创建Microsoft Entra ID用户,这是访问Fabric的身份凭证。完成这些之后,你会在Azure上创建Fabric账户,新建一个专用工作区,最后创建Fabric数据仓库作为整个方案的目标存储。Fabric数据仓库使用跟SQL Server类似的TSQL语法,但底层架构完全不同,这部分会详细解释两者的区别和联系,让你少走弯路。
有了Fabric端的环境,下一步是在本地安装SQL Server 2025作为源系统。课程会从硬件软件要求讲起,教你做系统检查,确认机器配置是否满足条件,然后指导你安装必要的Windows更新。这个环节看起来基础,但其实很重要,很多安装失败的问题都出在环境检查不仔细这一步。准备好之后,你会在自己的机器上安装SQL Server 2025开发者企业版,这个版本免费且功能完整,非常适合学习和开发环境使用。
安装完成不等于万事大吉,你还需要验证SQL Server能否正常运行,安装SSMS数据库管理工具,用它连接到本地SQL Server实例。之后课程会带你下载AdventureWorksDW2025示例数据库并完成恢复,这个数据库模拟了真实的企业数据仓库结构,包含了产品、客户、销售等主题域的数据,是后续构建管道的主要数据来源。
在正式创建数据管道之前,你需要先在Fabric数据仓库里建立目标架构。课程用专门章节讲解AdventureWorksDW2025的schema设计逻辑,然后分步骤创建维表和事实表,包括产品表、客户表、销售表等核心数据实体。这个环节培养的是数据建模思维,告诉你为什么要这样设计表结构,不同表之间存在怎样的关联关系。
现在开始动手构建真正的数据管道。你会先设置数据连接,在本地环境和Fabric之间建立安全可靠的通信通道。这里涉及到网关配置、连接字符串设置等具体操作,课程会一步步演示如何创建Fabric连接。
管道创建是课程的核心环节,分成多个视频逐步推进。你会从零开始定义数据提取逻辑,编写SQL查询从源数据库获取需要的数据,然后配置数据加载规则,把数据写入Fabric数据仓库的目标表。整个过程中会涉及到数据类型转换、字段映射等实际问题的处理方法。
管道创建完成后,你会在Fabric里运行它,亲眼看到数据从SQL Server流向数据仓库的过程。课程还会教你如何验证运行结果,确保数据准确无误地被加载进来。特别重要的是幂等性测试,这个概念听起来专业,其实很简单,就是保证管道可以安全地反复执行,不会因为重复运行而产生重复数据或者数据损坏。
学完这门课,你收获的不只是几个工具操作技巧。你会掌握从零搭建完整数据管道的实战能力,理解企业级数据工程项目的完整工作流程。无论是想从事数据工程相关岗位,还是想在现有工作中提升数据分析的自动化水平,这些都是真正有用的技能。