Flink实战八之Flink CDC MySQL → Kafka
整体原理Flink MySQL CDC 连接器读取 MySQL binlog,自动做全量快照 + 实时增量,捕获 INSERT/UPDATE/DELETE,通过 Kafka Sink 输出 debezium-json 格式消息到 Kafka Topic。❗Flink1.
Flink DataStream API多流操作与实践
Flink DataStream 多流操作主要包括 union、connect、广播流、窗口 Join、Interval Join、CoGroup 和 Side Output,本文将逐一介绍。
从 Kafka 到报表:Flink、CDC 与 StarRocks 的实时入仓链路
StarRocks 在这条链路中既可以通过Routine Load直接消费 Kafka,也可以通过Flink Connector承接 Flink CDC、实时 ETL 与指标聚合结果,还可以通过Kafka Connector接入 Kafka Connect 生态等。
Flink实战五之CDC DataStream方式的应用
一、前言在上一章节我们介绍了什么是CDC,这节将演示如何从MySQL数据库实时监听数据变化。
每天认识一个组件:Apache Flink
Flink 的核心价值不只是“实时”,而是把持续数据流、事件时间、业务状态和一致恢复放入同一个分布式运行时中。对于实时指标、持续 ETL、CDC、欺诈检测和事件驱动应用,它提供了一套比“消息队列加手工状态管理”更完整的计算模型。
聊聊Flink的几种血缘方案
数据血缘是实时数据治理的核心能力,能够追踪数据从产生、流转到消费的完整链路,本文简单介绍FLink作业从代码编写到提交运行过程中不同阶段实现的几种血缘方案。一、背景数据血缘是实时数据治理的核心能力,能够追踪数据从产生、流转到消费的完整链路。
实时数据分析平台有哪些?流式分析引擎对比
市面上的流式分析引擎从架构原理到使用体验差异很大,选型时如果只看产品名称和功能列表、不深入对比底层机制,上线后容易因延迟超标或状态管理瓶颈被迫重构。本文先定义五个对比维度,再逐款拆解七款主流引擎,最后给出对比速览表和场景化选型建议。
深入浅出 Flink DataStream API:原理与使用
Apache Flink 的 DataStream API 是构建有状态流处理应用的核心编程接口,提供了更细粒度的控制能力,适合处理复杂事件驱动、自定义状态逻辑及精确时间语义等场景。
Flink实战六之CDC FlinkSQL方式的应用
Flink SQL 是什么?Flink SQL 是 Apache Flink 提供的一套用标准 SQL 来写流处理 / 批处理的 API。 简单一句话:不用写复杂 Java/Scala 流代码,直接写 SQL,就能做实时数据流计算。