【ORC】高基数字符串列导致字典编码失效时，ORC 2.3.0 提供了哪些 fallback 编码策略？

ORC 2.3.0 高基数字符串列的救星：字典编码失效后的 Fallback 编码策略深度解析问题原文：高基数字符串列导致字典编码失效时，ORC 2.3.0 提供了哪些 fallback 编码策略？本文将深入剖析 Apache ORC 2.3.0 在面对高基数字符串列（High-Cardinality String Columns）这一经典挑战时的应对机制。我们将以大促用户行为分析场景为切入点，详细解读 ORC 如何在字典编码（Dictionary Encoding）因内存或基数限制而失效后，无缝切换到高效的Direct Encoding策略，并探讨其底层实现、性能权衡以及生产环境中的最佳实践。发布时间：2026年4月11日技术栈版本：Apache ORC 2.3.0, JDK 17, Apache Spark 3.5.0一、问题引入：大促流量洪峰下的“字典爆炸”在一个电商平台的实时大促监控系统中，我们每秒需要处理数百万条用户行为日志。其中，session_id和product_sku是两个关键的字符串字段。session_id：全局唯一，基数极高（每天新增数十亿）。