视频课程 编程

Snowflake云原生数据工程实战 (英文课程中文字幕)

¥3.90 已售 0
✓ 自动发货 ✓ 永久有效 ✓ 售后保障

资源介绍

视频数量:35个 总时长:2小时41分 课程介绍: Snowflake云原生数据工程实战 你有没有遇到过这种情况:凌晨三点被报警电话叫醒,线上数据仓库的查询突然慢得像蜗牛,业务部门在群里疯狂追问数据什么时候能出来。更要命的是,你发现仓库的存储快满了,得赶紧扩容,可扩容一次要等好几天,还要付一笔不小的费用。等你好不容易扩容完,白天业务高峰期已经过了,白白浪费了资源。 这大概是很多数据工程师都经历过的噩梦。传统的数据仓库方案,存储和计算绑定在一起,要扩展就得一起扩,成本高、响应慢、运维复杂。直到Snowflake出现,彻底改变了这个局面。 Snowflake是这几年云数据平台领域最火的产品之一,它的架构设计真正做到了存储和计算分离。你不需要关心数据存在哪台服务器上,也不用担心计算资源够不够用,平台会自动帮你搞定这些麻烦事。更重要的是,它支持多租户、多集群,能让你在处理突发流量时游刃有余,同时在空闲时自动缩减资源,省下真金白银。 这门课带你从零开始,系统掌握Snowflake的核心能力。整个课程分为九大模块,循序渐进地把云原生数据工程的精髓讲透。 第一模块先讲架构。为什么要先讲架构?因为只有搞清楚Snowflake是怎么设计的,你才能理解后面那些功能为什么那样实现。这部分会详细介绍三层架构——云服务层、计算层、存储层是怎么协同工作的,微分区技术是怎么让查询跑得飞快的,还有账户设置和不同版本的选择策略。学完这模块,你脑子里会有一个清晰的Snowflake全景图。 第二模块聚焦虚拟仓库。虚拟仓库是Snowflake的弹性计算引擎,你可以把它理解成可大可小、按需伸缩的CPU集群。这部分教你创建和配置自己的第一个仓库,学会调整仓库大小来匹配工作负载,掌握多集群仓库的用法来应对高并发场景,还要理解工作负载隔离怎么帮你避免不同任务互相干扰。最后会把计费模型讲清楚,让你知道每一分钱花在哪。 第三模块解决数据怎么进来。数据加载是数据工程的起点,这部分会讲三种主流方案:内部阶段、外部阶段、COPY INTO批量加载,以及Snowpipe的流式持续摄入。你还会学到如何处理半结构化数据,比如JSON和Parquet格式,VARIANT类型怎么用。 第四模块专门讲SQL。这是Snowflake最好用也最强大的部分。会从CTE公用表表达式讲起,教你怎么写出结构清晰、容易维护的查询。重点是窗口函数,这是数据工程师必备的硬技能,学完之后排名、累计、滑动窗口全都不在话下。还有Snowflake独家的QUALIFY子句,能帮你简化很多复杂查询。最后会讲到查询性能优化,怎么看执行计划、怎么利用剪枝机制、什么时候该建聚簇键。 第五模块进入数据管道。Change Data Capture是现代数据工程的核心场景,这部分会教你用Streams追踪表的每一次变化,用Tasks实现定时任务调度。更重要的是Dynamic Tables这个新特性,它是声明式的管道定义方式,你只需要描述最终想要什么状态,平台会自动帮你维护,省去了大量调度逻辑。 第六模块讲安全和治理。企业级的数据平台,安全是底线。这部分会手把手教你配置RBAC基于角色的访问控制,理解角色继承和权限授予的层次关系。列级加密和行级访问策略能帮你实现细粒度的数据保护,网络策略和账户安全设置则让你对访问控制无死角。最后还会讲到如何利用访问历史做好合规审计。 第七模块介绍几个让人眼前一亮的功能。时间旅行相当于给你配备了一个数据时光机,误删的数据、错误的修改都能找回来。零拷贝克隆能在几秒内复制一个超大的数据库,而且不占用额外存储,非常适合做测试环境或数据备份。安全数据共享则让你在不移动数据的情况下,把数据分享给其他Snowflake账户,真正做到了数据不动、计算动。 第八模块带你拥抱AI时代。Snowpark让你用Python直接操作Snowflake里的数据,不需要把数据搬出来就能做处理和分析。Cortex AI把大语言模型和机器学习能力集成到了SQL里,你用几行SQL就能调用AI服务。Notebooks和Streamlit支持则让数据可视化应用开发变得简单。 第九模块是成本优化,这是很多人容易忽视但又特别重要的部分。课程会列举五个常见的成本陷阱,比如仓库规格选错、查询写得太烂、聚簇键没建好,这些都是导致账单飙升的罪魁祸首。还有一个实用的成本估算方法,让你在动手之前就能算清楚这笔活要花多少钱。 整个课程有配套的练习题和SQL脚本,理论和实践结合得很紧密。每学完一个模块都有自测题帮你检验掌握程度。 学完这门课,你能独立完成Snowflake环境的搭建和配置,能设计并实现完整的数据管道,能写出高效的SQL查询,能做好安全合规的权限管理,还能利用时间旅行和克隆来提高运维效率。更重要的是,你对云原生数据工程的整体思路会有质的提升,不再只是会用某个工具,而是真正理解背后的设计理念和最佳实践。 如果你已经在做数据相关的工作,或者想转行进入数据工程领域,这门课能帮你建立完整的知识体系,少走弯路。