Flink 双写实战：Kafka 数据实时入湖 ClickHouse 与 ORC 归档0. 问题引入：从 IoT 设备监控平台说起用户原始问题：“如何将 Kafka 中的实时数据通过 Flink 写入 ClickHouse，并同时归档为 ORC 文件？”在构建一个面向百万级 IoT 设备的实时监控平台时，我们面临一个典型的“热-冷”数据分层需求：热数据: 需要对最近一小时的设备指标（CPU、内存、网络）进行亚秒级的聚合查询和告警，ClickHouse凭借其极致的写入吞吐和查询性能成为不二之选。冷数据: 所有历史数据必须完整、可靠地长期存储（至少3年），用于故障回溯、趋势分析和合规审计。这部分数据需要一种高性价比、高查询效率的列式格式，ORC因其卓越的压缩率和内置索引脱颖而出。最初，我们尝试了两个独立的 Flink 作业：一个写 ClickHouse，一个写 ORC。但很快遇到了严峻挑战：资源浪费: 相同的 Kafka 消费逻辑被重复执行两次，浪费了宝贵的 CPU 和网络带宽。数据不一致: 由于两个作业的 Che