[中字]Kafka Connect - 构建基于 Kafka

的数据管道（中文字幕英文视频教程） 本课程围绕 Kafka Connect 展开，系统讲解如何利用这一强大工具构建高效、可靠的数据管道。Kafka Connect 作为 Apache Kafka 的重要组件，专为数据集成设计，能够简化与外部系统（如数据库、消息队列等）之间的数据传输过程。无论你是数据工程师、开发人员还是 IT 运维人员，只要涉及到数据管道的构建与管理，本课程都能为你提供全面且实用的知识与技能。 课程模块概览 1. 入门介绍（Introduction） 本模块是课程的基础入门部分，旨在让学习者对 Kafka Connect 形成初步认识。 首先解答 “什么是 Kafka Connect”，通过视频讲解其定义、定位以及在 Kafka 生态系统中的作用，帮助学习者建立基本概念。 接着分析 “何时以及为何使用 Kafka Connect”，结合实际应用场景，阐述其相较于其他数据集成工具的优势，让学习者明白在何种情况下选择 Kafka Connect 更为合适。 随后深入介绍 Kafka Connect 的核心组件，包括 Workers、Connectors 和 Tasks，详细讲解各组件的功能以及它们之间的协作关系，为后续学习打下坚实基础。 最后讲解另一个关键组件 ——Transforms 和 Converters，说明它们在数据处理和格式转换过程中的重要性及具体应用。 2. 软件准备（Software） 要实际操作 Kafka Connect，相关软件的准备是必不可少的，本模块就此展开详细说明。 指导学习者下载 Apache Kafka，提供清晰的下载步骤和注意事项，确保大家能顺利获取所需的软件包。 讲解如何在 Docker 容器中运行 MySQL 和 PostgreSQL，这两种数据库在实际数据集成场景中应用广泛，通过 Docker 容器运行可以简化环境配置过程。 分别介绍在 MySQL 和 PostgreSQL 中创建数据库、数据表以及插入新记录的操作，为后续的数据传输实验做好数据准备。 3. Apache Kafka 集群（Apache Kafka Cluster） Kafka Connect 通常运行在 Kafka 集群环境中，本模块专注于 Kafka 集群的搭建。 提供用于 Apache Kafka 集群的 Docker Compose 文件，详细解释文件中的各项配置参数，让学习者理解如何通过配置文件定义集群的结构和属性。 分别针对 Mac 和 Windows 系统，讲解如何在 Docker 中启动 Apache Kafka 集群，步骤清晰，便于不同操作系统的学习者操作。 还包含了 kafka-cluster-bitnami 和 kafka-cluster-confluent 等子目录，提供了不同版本的集群配置文件，满足学习者的多样化需求。 4. Kafka Connect 连接器（Kafka Connect Connectors） 连接器是 Kafka Connect 实现与外部系统集成的关键，本模块重点介绍各类连接器。 首先对 Kafka Connect 连接器进行总体介绍，讲解其分类（源连接器和 sink 连接器）和基本工作原理。 然后详细说明如何下载 Confluent JDBC 连接器、MySQL 连接器和 PostgreSQL 连接器，这些连接器是实现与相应数据库数据传输的重要工具，课程会提供具体的下载路径和方法。 5. 使用 CLI 脚本的 Kafka Connect 独立模式（Kafka Connect Standalone mode Using CLI scripts） 独立模式是 Kafka Connect 的一种运行模式，适用于简单的场景，本模块对此进行详细讲解。 介绍运行 Kafka Connect 独立模式的基本概念和适用场景，让学习者了解在何种情况下选择独立模式。 讲解独立模式下的工作配置，提供 connect-standalone.properties 配置文件的详细说明，包括各项参数的含义和设置方法。 分别介绍 MySQL 源连接器和 PostgreSQL sink 连接器的配置方法，提供相应的配置文件（如 mysql-jdbc-connector.pdf）和具体的配置步骤。 指导学习者如何在独立模式下运行 Kafka Connect，并通过实际操作演示源连接器和 sink 连接器的工作过程，让学习者直观感受数据传输的效果。 6. Docker 容器中的 Kafka Connect 独立模式（Kafka Connect Standalone mode In Docker container） 随着容器技术的普及，在 Docker 容器中运行 Kafka Connect 成为一种常见方式，本模块就此展开讲解。 提供用于在 Docker 容器中运行 Kafka Connect 的 Docker Compose 文件，解释文件中的配置项，包括容器的构建、网络设置等。 讲解 Docker 容器环境下 Kafka Connect 的工作配置（connect-standalone-for-docker-compose.properties）和 JDBC 连接器配置，确保在容器环境中能正确运行。 介绍 Kafka Connect 与 Docker Compose 环境变量的结合使用，说明如何通过环境变量灵活配置 Kafka Connect 的各项参数。 指导学习者启动 Docker 容器中的独立模式 Kafka Connect，完成数据传输的实验。 7. 使用 CLI 的分布式模式下的 Kafka Connect 集群（Kafka Connect Cluster in Distributed Mode using CLI） 分布式模式适用于大规模、高可用的场景，本模块详细讲解分布式模式的相关知识。 介绍分布式模式的基本概念、优势和适用场景，让学习者了解分布式模式与独立模式的区别。 讲解分布式模式下的内部主题，这些主题用于存储连接器的配置、状态等信息，课程会说明这些主题的作用和创建方式。 详细讲解如何创建分布式模式下 Worker 1 和 Worker 2 的配置文件，包括 Bootstrap Servers、Group ID、Key 和 Value Converters、内部主题设置、REST API 配置以及插件路径配置等各项参数，提供 connect-distributed-worker-1.properties 和 connect-distributed-worker-2.properties 配置文件的详细说明。 指导学习者使用 CLI 在分布式模式下运行 Kafka Connect 工作节点，部署源连接器和 sink 连接器（通过 REST API），并通过实际操作演示分布式模式下数据传输的工作过程。 8. 使用 REST API 管理运行在分布式模式下的 Kafka Connect 集群（Managing Kafka Connect Cluster running in Distributed mode with REST API） REST API 为管理分布式模式下的 Kafka Connect 集群提供了便捷方式，本模块对此进行详细介绍。 讲解如何使用 Kafka Connect 的 connectors 端点列出已部署的连接器，让学习者掌握查看集群中连接器状态的方法。 介绍如何获取连接器的配置详情，了解连接器的具体设置。 说明如何检查连接器的状态，包括任务的运行情况等，及时发现和解决问题。 讲解如何暂停或恢复连接器，以及如何更新连接器的配置和删除连接器，全面介绍通过 REST API 对连接器进行管理的操作。 9. 基于 Docker 的分布式模式下的 Kafka Connect 集群（Kafka Connect Cluster in Distributed Mode with Docker） 本模块将分布式模式与 Docker 容器技术相结合，讲解如何在 Docker 环境中搭建分布式 Kafka Connect 集群。 介绍在 Docker 环境中运行分布式模式 Kafka Connect 的基本概念和优势，说明这种方式在实际应用中的便利性。 讲解 Docker 文件和 Docker 镜像的相关知识，指导学习者创建用于 Kafka Connect 的 Docker 文件和构建 Docker 镜像，提供具体的步骤和命令。 介绍为分布式模式 Kafka Connect 创建环境文件，通过环境文件配置集群的各项参数。 指导学习者在 Docker 容器中运行 Kafka Connect 工作节点 1 和工作节点 2，并部署连接器到分布式模式的工作节点组中，完成分布式集群的数据传输实验。 通过本课程的学习，学习者能够全面掌握 Kafka Connect 的相关知识和操作技能，从基础概念到实际应用，从独立模式到分布式模式，从直接运行到结合 Docker 容器技术，全方位了解如何利用 Kafka Connect 构建高效、可靠的数据管道，为实际工作中的数据集成需求提供有力支持。