资源介绍
视频数量：116个
总时长：9小时45分
课程介绍：
Apache Iceberg多引擎数据湖仓：从规范原理到生产实践
周一早上八点，Sarah的手机开始震动。她的首席财务官发来一条简单的问题：第四季度EMEA地区的利润率为什么下降了？这个问题本该一个小时就能回答，但她的团队花了整整三天。
不是技术不行，是数据太乱了。三个大洲的200名工程师，三个计算引擎——Snowflake存储财务黄金表，Databricks运行机器学习特征表，原始S3放着事件日志。三个系统各自为政，各自解释数据真相。市场部要一份区域营收报告，得到的却是三份不同的数字。
这是大多数企业在数据架构演进中都会遇到的困境。而Apache Iceberg，正是为了解决这种混乱而生的。
这门课带你从零开始理解Iceberg，不是停留在表面的概念背诵，而是深入到规范文档的细节、生产环境的坑洼、以及多引擎协作的真实场景。Sarah的故事会贯穿整个课程，从周一早上的危机到最终的架构升级，你会看到一个真实企业在数据湖仓演进中的完整轨迹。
课程首先从数据湖仓的底层困境讲起。为什么Hive Metastore在2008年是个好设计，但放到今天就是瓶颈？对象存储上的ACID事务花了十年、三次重大尝试才真正解决。Iceberg、Delta、Hudi三足鼎立，为什么2024到2026年的行业拐点最终让Iceberg胜出？这些问题的答案不只是选型结论，更是理解现代数据架构演进的钥匙。
然后你会深入Iceberg的文件布局。数据文件用Parquet还是ORC还是Avro，各有什么取舍。Manifest文件和Manifest List如何协同工作，构成Iceberg事务性的基础。Snapshot快照机制怎么记录每一次变更历史。这些规范层面的知识听起来枯燥，但理解它们之后，你在排查问题、做性能调优时会清晰很多。比如为什么某些查询比预期慢，为什么某个表的元数据膨胀了——懂了底层原理，问题就迎刃而解。
Schema演进和分区演进是Iceberg最实用的特性之一。添加、删除、重命名列，不用重写历史数据。分区策略调整，不用全量重建表。这些在传统Hive表上需要停机维护的操作，Iceberg优雅地解决了。当然，新的隐藏分区和传统的Hive风格分区有什么本质区别，分区演进在什么时候触发隐式数据重写，这些细节你也会学到。
Catalog是Iceberg架构中最容易被忽视但又最关键的组件。REST Catalog为什么代表未来，它的认证机制OAuth和AWS SigV4怎么配置。五大主流Catalog——Polaris、Snowflake Unity Catalog、Nessie、AWS Glue、Hive Metastore——各有优劣。什么场景选什么Catalog，课程给了清晰的决策矩阵，不是简单的功能对比，而是基于真实业务场景的取舍建议。
数据写入是生产系统的入口。用Spark写Iceberg，SQL和DataFrame API各什么时候用。Merge、Update、Delete操作怎么写才高效。WAP模式——Write Audit Publish——让你在正式发布前验证数据质量，这对关键业务表尤为重要。写入时的Compaction策略，怎么避免小文件泛滥。
流式写入是另一套挑战。Flink和Kafka Connect怎么对接Iceberg Sink。Exactly-once语义的实现原理。CDC数据从Debezium到Kafka再到Iceberg的完整链路怎么设计，Upsert模式、SCD Type 2缓慢变化维怎么处理，乱序事件如何处理。这些内容对做实时数据管道的工程师特别实用。
读数据的场景比写更复杂。Spark和Trino怎么利用谓词下推和投影下推减少读取量，怎么读特定的Snapshot实现时间旅行。Snowflake、Databricks、Dremio这些商业引擎怎么集成Iceberg。DuckDB和ClickHouse这些轻量级引擎在什么场景下更合适。课程不是简单告诉你能用，而是深入讲解每个引擎的实现差异，帮助你选择最经济高效的组合。
表维护是Iceberg生产运营的重头戏。小文件问题几乎是所有流式写入管道的噩梦，怎么用RewriteDataFiles做Compaction。Z-Order排序对查询性能的影响，Sort Order Evolution怎么让排序策略随数据变化而演进。快照过期和孤儿文件清理的策略，存储成本的经济账怎么算。这些工作做好，查询性能能提升几倍，成本能降低一半。
时间旅行和分支功能是Iceberg的高级特性。用Snapshot读取历史数据做审计分析，分支怎么用于开发测试和WAP验证，Tag怎么用于版本标记和发布管理。rollback操作在什么场景下用，怎么用。这些特性对数据治理和合规审计有直接价值。
安全和治理是企业级数据平台必须考虑的。Catalog级别的RBAC怎么配置，文件级别的加密策略怎么选，Row-level和Column-level的安全策略在Iceberg中怎么实现，审计日志怎么抓取和留存。这些内容让你在开放性的基础上构建企业级的安全防护。
成本优化是云原生环境下的永恒话题。存储分层策略怎么设计，冷热数据怎么分离。Compaction的成本和查询成本之间怎么权衡。多个计算引擎的成本对比，决策脊柱的成本维度。监控和优化不是一次性的，而是持续运营的过程。
故障排查是每个工程师的必备技能。并发写入冲突怎么诊断和解决，快照无限增长的根本原因是什么，读者看到旧数据的常见原因和排查步骤。课程给出了系统性的诊断方法，不是头痛医头的技巧，而是面对未知问题的思维方式。
迁移是很多企业面临的现实问题。怎么从Hive原地迁移到Iceberg，怎么从Delta Lake迁移，怎么把裸Parquet文件转成Iceberg表。原地迁移和重写迁移各有什么风险，怎么做决策。这些经验来自真实项目，比官方文档更实用。
跨格式的互操作是另一个有趣的话题。Apache Xtable让你用一份存储支持多种格式。什么时候需要这种桥接能力，单存储多Catalog的模式怎么设计。这些内容对异构环境下的数据平台整合特别有价值。
课程的收尾是一个完整的生产案例。从Bronze层的CDC数据接入，到Silver层的数据清洗和WAP验证，再到Gold层的多引擎消费，你能看到一个真实数据湖仓的完整架构。8个维度的评估标准帮你衡量自己的方案是否到位。
学完这门课，你能在生产环境中真正用好Iceberg。不只是跑通几个Demo，而是理解它为什么这样设计，在什么场景下会遇到什么问题，怎么排查，怎么优化。课程内容很密集，但Sarah的故事线让整体脉络清晰，每一部分都紧扣前面的内容，形成完整的知识体系。
适合有一定基础的工程师来学。SQL和Python是基本要求，对分布式系统和云存储有基本概念更好。有实际数据平台工作经验会有更深的理解，但核心内容讲得足够详细，即使经验稍浅也能跟上。课程不教你什么是Iceberg，而是教你用Iceberg解决真实问题。