资源介绍
视频数量：21个
总时长：3小时14分
课程介绍：
Apache Flink流批一体数据处理实战
在大数据处理领域，很多工程师都遇到过这样的困境：批处理用Spark，流处理用Kafka，查询用Hive，工具链越来越长，维护成本越来越高。有没有一种框架能够同时搞定批处理和流处理，让技术栈变得简洁？Apache Flink正是为了解决这个痛点而生的。
这门课程专门为零基础学员设计，用三个多小时的系统学习，带你从认识Flink开始，逐步掌握这个在大数据实时处理领域炙手可热的框架。课程讲师Sridhar拥有二十年软件开发经验，目前担任AI驱动大数据解决方案公司的联合创始人兼首席技术官，既有扎实的理论基础，又有丰富的实战积累。
一、基础入门：认识Flink和大数据世界
课程开篇并没有直接讲技术，而是先带你理解Flink到底是什么、它解决什么问题、以及为什么在大数据时代它值得学习。你会了解到Apache Flink的整体架构，包括它的核心组件有哪些、这些组件各自承担什么职责。课程还专门安排了一节内容讲解什么是大数据、为什么它重要，帮助你建立对整个领域的认知框架。
安装环节是很多新手头疼的地方，但这门课把这件事做得很细致。讲师会演示如何在本地系统安装Flink，带你一步步完成环境配置。同时，考虑到实际生产环境中很多人会用到云服务，课程还专门设置了AWS云环境的配置教程，让你在学习阶段就能接触到真实的生产环境配置方式。
二、集群管理与编程基础
Flink安装好之后，你需要学会跟它打交道。集群用户界面是Flink提供的重要管理工具，课程会带你详细探索这个界面，教你看懂各个监控指标、理解作业运行状态、排查常见问题。对于初学者来说，能看到作业在界面里跑起来，这个正向反馈非常重要。
编程模型是理解Flink的钥匙。课程用专门的章节讲解Flink的编程模型，告诉你数据在这个框架里是怎么流转的、处理逻辑怎么组织、并行度怎么控制。在此基础上，你会学到批处理和流处理两种处理模式的区别，虽然Flink支持流批一体，但两种模式在概念和使用场景上有明显差异，搞清楚这些才能在实际工作中正确选择。
三、批处理分析：转换与聚合
批处理是数据分析最常见的场景。课程从数据加载讲起，手把手教你把各种格式的数据文件加载到Flink的数据集中。你会学到如何查看数据集的基本信息、如何检查数据内容是否符合预期、如何将处理结果保存到目标位置。这些看似基础的操作其实是所有数据处理流程的起点。
转换操作是批处理的核心。课程会系统讲解Flink提供的各种转换函数，包括map、filter、flatMap等基础操作，也包括更复杂的分组转换、键控处理等。你会通过具体的代码示例看到这些转换是怎么组合使用的，怎么构建出完整的数据处理管道。
聚合和连接是进阶内容。课程会教你如何在Flink中进行求和、计数、求平均值等聚合操作，以及如何处理多个数据集之间的关联。通过实际案例，你会理解聚合函数在不同业务场景下的应用方式，以及连接操作的几种类型和它们的适用场景。
四、流处理实战：窗口与状态管理
流处理是Flink最亮眼的特性。课程从数据源讲起，演示如何连接Kafka等消息队列、如何读取网络数据流。数据流进入Flink后，需要经过各种转换处理，课程会带你了解流式数据特有的转换操作，以及如何对这些转换进行调试和优化。
窗口操作是流处理的核心概念之一。课程会详细讲解时间窗口、计数窗口、滑动窗口等不同类型的窗口，以及窗口在水印机制下的处理逻辑。你会学到为什么需要窗口、如何定义窗口的边界、窗口的结果什么时候触发输出。这些知识对于构建实时统计、实时监控类应用至关重要。
五、高级特性：时间、状态与容错
学完基础内容后，课程带你进入高级部分。时间特性是流处理中容易出错的地方，处理时间、事件时间、入队时间有什么区别，什么时候该用什么时间，处理乱序数据时水印怎么配置，这些内容都会讲清楚。状态管理是Flink区别于其他流处理框架的重要特性，课程会教你如何在流处理中维护状态、如何利用状态实现复杂业务逻辑。
容错是生产环境必须考虑的问题。Flink的检查点机制能够保证数据不丢失、不重复，课程会详细讲解检查点的原理、如何配置检查点策略、什么时候适合开启检查点。其他数据流操作则会补充一些实用技巧，包括并行度调整、算子链优化等，帮助你榨干Flink的性能。
学完这门课程，你将具备独立使用Flink进行数据处理的能力，能够根据业务需求选择合适的处理模式，搭建起完整的批处理或流处理流水线。课程提供的练习数据都是真实的业务数据，涵盖零售销售、人口统计、温度监测等常见场景，让你学到的技术能够直接对接实际需求。无论你是正在转型大数据方向的开发者，还是希望提升数据处理能力的分析师，这门课程都能帮你打开一扇新的大门。