资源介绍
视频数量：110个
总时长：9小时36分
课程介绍：
数据架构设计：决策、权衡与方案论证
刚入行的数据工程师常常觉得自己是个“pipeline builder”，每天的任务就是写ETL脚本、调试数据管道、确保数据准时到达下游。等你干上三五年，手上的活儿越来越熟，开始有人找你商量：这个报表系统要不要换个架构？新的数据源接入选CDC还是轮询？数据湖和数仓到底怎么选？
这时候你才发现，你缺的已经不是写代码的能力，而是做决策的能力。架构设计这件事，从来不是“哪个技术最流行就用哪个”，而是“这套方案在我当前的约束条件下是不是最合适的”。约束条件是什么？预算、时间、团队技能、合规要求、业务方对延迟的容忍度——这些才是真正左右你决策的东西。
这门课要讲的就是这个：不是教你用什么技术，而是教你面对一个具体问题时，怎么分析、怎么权衡、怎么做出经得起时间检验的架构决策。课程的设计者是一位真正在一线摸爬滚打过的数据架构师，他把多年踩坑和做决策的经验掰开了揉碎了讲给你听。整门课将近十个小时，一百一十个视频，从最基础的问题“架构师到底干什么”一直讲到怎么在董事会面前为你的方案辩护。内容量很大，但逻辑很清晰，每一讲都在解决一个真实问题。
课程一上来没有讲技术，先问了一个根本问题：架构师的工作到底是什么？他花了一整章讲“deciding, not building”——架构师的核心价值在于决策，不在于亲手写代码。你要决定这个数据是实时处理还是批量处理，要决定存储选什么格式，要决定用自研还是买现成服务，要决定这个方案的成本能不能接受。这些决策做错了，后面再怎么优化都是白搭。他会教你怎么看清楚一个问题的真正需求和约束，怎么跟CFO、CISO、CTO这些不同角色讨论技术方案，因为技术选型从来不只是技术问题，它背后牵扯的是钱、安全、业务优先级这些东西。
接下来他带你回顾了数据架构这些年是怎么演变的。从最早的数据仓库，到后来火起来的数据湖，再到现在的lakehouse，还有更晚近的data mesh和data fabric。这条演化链不是随机的，每一代架构的出现都是为了解决上一代暴露出来的核心问题。你学完这一章会明白，warehouse、lake、lakehouse、mesh它们各自解决什么问题、什么时候该选哪个、什么时候不该选。
有了这些认知基础，课程开始带你画“reference architecture”——一个能在白板上画出来的标准数据架构图。他把数据架构拆成六个标准层次：source、ingest、store、transform、serve、consume。这张图看起来简单，但它是你后面所有决策的参照系。每当你面对一个新问题，你就知道它属于哪一层、会影响哪些其他层。这是一种结构化的思维方式，非常实用。
从第四章开始，课程进入具体的决策环节。存储层怎么选？对象存储是现在的主流，但它上面的文件格式你选对了吗？Parquet还是ORC还是Avro，不同格式在不同场景下性能差异很大。还有分区策略和小文件问题，很多人就是栽在这上面——数据量小的时候看不出来，等数据涨上来才发现管道越跑越慢。第五章接着讲表格式的选择，Delta、Iceberg、Hudi这三个主流格式各自的适用场景是什么，什么时候用时间旅行功能是必要的而不是炫技，什么时候schema evolution会给你埋坑。
建模部分很有意思。第六章讲维度建模，第七章讲什么时候该跳出星型模型用Data Vault或者One Big Table。很多人学建模是从理论开始的，什么事实表维度表慢慢了一大堆概念，但真正做架构决策的时候，你得知道这些建模范式的 trade-off 在哪。星型模型查询快但灵活性差，Data Vault审计性好但查询性能不如意，OBT在云数仓里性能最好但维护成本高——这些不是对错问题，是取舍问题。
摄入层的设计是很多项目的分水岭。第八章讲batch、incremental、CDC三种模式的决策树，什么时候该用全量刷新、什么时候增量加载的watermark会出问题、CDC到底是读日志还是读触发器，这些问题直接影响你的数据延迟和系统负担。第九章专门讨论streaming：你真的需要实时数据吗？很多人其实是被“实时”这个词忽悠了，业务上根本不需要秒级延迟，却承担了streaming带来的全部复杂性。他会教你算清楚这笔账。
Transformation层讲ELT和medallion架构。现在很多团队把transform放到数仓里做，而不是ETL工具里先处理，这里面的核心变化是什么。dbt为什么火，它解决的问题是什么。medallion架构（bronze-silver-gold）听起来像三层缓存，但它的设计意图是数据质量逐步提升的保障机制，不是为了分层而分层。
后面几章讲DataOps、编排、元数据、质量、安全、成本、性能、Serving层、可靠性、AI准备度，每一块都是架构师必须掌握的能力域。但这不是那种把所有知识点平铺直叙讲一遍的课，课程的每一章都有一个清晰的决策主线：这个东西什么时候值得做、什么时候不值得做、选A方案还是B方案。比如讲成本那章，从存储成本到计算成本到数据出口成本一条线串下来，最后教你怎么开一场成本估算工作坊。讲安全那章，从RBAC、ABAC、RLS三种权限模型怎么选，到Policy as Code怎么做，到federated governance怎么在不搞成 monolithic team的前提下保证治理有效，最后落到一个很实际的问题：你投入的安全成本和它能规避的风险到底匹不匹配。
最后几章是重头戏。Data Mesh那章不是给你灌鸡汤讲“去中心化多好多好”，他会直接告诉你mesh什么时候会变成mess，什么时候不该上这套架构。AI readiness那章教你评估自己的平台到底能不能支撑AI应用，feature store怎么设计，vector database什么时候用，RAG模式怎么跟现有平台对接。课程结尾用一个capstone project收尾：你拿到一份真实公司的需求清单，在约束条件下设计完整的数据架构，写出所有关键决策的ADR文档，然后面对模拟的CFO、CISO、CTO做一场完整的架构评审。
学完这门课，你收获的不只是一堆概念和术语。你会有一套思考数据架构问题的方法论：遇到任何技术选型，先问清楚需求和约束，再看有哪些可选方案，每个方案的trade-off是什么，长期维护成本高不高，怎么用文档记录你的决策让它经得起审计。这套方法论迁移到任何新技术上都管用，因为技术会变，但做架构决策的逻辑是通的。
这门课适合什么样的学习者？最好你已经有一到两年接触数据项目的经验，写过ETL或者数据管道，对基本的数据概念有所了解，纯新手可能会觉得节奏有点快。但如果你已经在数据领域工作了一段时间，开始参与架构设计或者技术选型的讨论，这门课正好补上你欠缺的那一块：从“会干活”到“会做决策”的跃迁。