Elasticsearch 大数据实战亿级数据量聚合查询优化与落地全攻略一、前言二、亿级数据聚合的核心痛点三、Elasticsearch 聚合查询底层执行流程聚合流程步骤聚合执行流程图四、亿级聚合查询核心优化策略重点1. 必须使用字段数据类型 keyword2. 开启并利用 Doc Values正排索引3. 使用 Global Ordinals 优化基数高的字段4. 控制聚合范围只聚合必要数据5. 使用 Sampler采样聚合6. 使用 Terms 聚合的 shard_size 优化7. 禁止使用聚合 from/size 深度分页8. 利用 Scroll/Slice 大结果集处理9. 冷热分离架构生产必备10. 合理分片规划五、亿级聚合必用Cardinality 去重基数优化六、生产级亿级聚合完整示例七、聚合性能优化流程图八、ES 集群配置优化生产必须设置九、亿级聚合十大禁忌生产避坑十、总结核心要点回顾The Begin点点关注收藏不迷路一、前言在实际生产环境中使用 Elasticsearch 对亿级、十亿级甚至百亿级数据进行聚合查询Aggregation是非常常见的场景如用户画像、日志分析、多维统计、大屏可视化。但直接对海量数据执行聚合极易出现OOM、节点卡死、查询超时、结果不准等问题。本文将系统性讲解ES 亿级数据聚合的原理、瓶颈、优化方案、避坑指南、生产级配置并附带流程图让你的聚合查询从分钟级优化到毫秒/秒级。二、亿级数据聚合的核心痛点内存爆炸聚合需要加载大量字段数据到 JVM 堆内存极易触发 Full GC查询超时全量数据遍历计算耗时极长结果不准使用深度分页 聚合导致数据截断节点雪崩大聚合压垮数据节点影响整个集群三、Elasticsearch 聚合查询底层执行流程要优化亿级聚合必须先懂流程。聚合流程步骤Query 阶段根据查询条件过滤出符合条件的文档 ID 列表Fetch 阶段将需要聚合的字段数据加载到内存Collect 阶段在分片中进行分组、统计、计算Reduce 阶段协调节点汇总所有分片结果输出最终数据聚合执行流程图客户端发起聚合请求协调节点分发请求数据节点: Query过滤文档ID数据节点: 加载聚合字段到内存数据节点: 分片级局部聚合协调节点: 全局汇总Reduce返回最终聚合结果四、亿级聚合查询核心优化策略重点1. 必须使用字段数据类型 keyword聚合、排序、分组的字段必须是 keyword 类型不能是 texttext分词无法精确聚合keyword不分词正排索引Doc Values聚合性能提升 10~100 倍映射模板示例city:{type:keyword// 聚合字段必须是keyword}2. 开启并利用 Doc Values正排索引Doc Values 是 ES聚合快的核心秘密列式存储磁盘映射不占 JVM 堆内存支持顺序遍历聚合极快ES 默认开启千万不要关闭doc_values:true// 默认true禁止关闭3. 使用 Global Ordinals 优化基数高的字段针对值非常多的字段如 user_id、订单号eager_global_ordinals:true作用提前构建词项编号映射聚合速度提升数倍写入时轻微耗时查询极快4. 控制聚合范围只聚合必要数据不要全索引聚合必须用range、term过滤。错误 ❌match_all:{}正确 ✅bool:{filter:[{range:{create_time:{gte:2025-01-01}}}]}5. 使用 Sampler采样聚合不需要 100% 精准时采样亿级数据aggs:{sample:{sampler:{shard_size:1000},aggs:{top_city:{terms:{field:city}}}}}速度提升巨大6. 使用 Terms 聚合的 shard_size 优化terms:{field:user_id,size:10,shard_size:500// 关键优化}shard_size 越大结果越精准默认合理值无需过大避免压力7. 禁止使用聚合 from/size 深度分页亿级数据下绝对不能这样写from:10000,size:100会导致性能暴跌结果不准节点OOM8. 利用 Scroll/Slice 大结果集处理超大规模聚合统计使用切片并行聚合slice:{field:_id,id:0,max:8}多线程并行大幅提升速度。9. 冷热分离架构生产必备针对亿级日志/大数据热数据SSD实时查询冷数据HDD归档存储聚合只查热数据不查全量性能提升 10 倍以上。10. 合理分片规划单分片大小20GB~50GB分片过多 → 聚合汇总慢分片过少 → 无法并行推荐数据节点数 × 2~3 个分片五、亿级聚合必用Cardinality 去重基数优化去重统计UV、设备数使用cardinalityuv:{cardinality:{field:user_id,precision_threshold:3000// 精度优化}}支持亿级数据误差极低1%速度极快六、生产级亿级聚合完整示例{size:0,// 不返回原始数据关键优化query:{bool:{filter:[{range:{event_time:{gte:now-7d}}}]}},aggs:{top_city:{terms:{field:city,size:10,shard_size:500},aggs:{uv_count:{cardinality:{field:user_id,precision_threshold:3000}}}}}}七、聚合性能优化流程图亿级聚合需求字段类型改为keyword开启doc_values正排索引添加filter缩小数据范围设置size0不返回文档配置shard_size提升精度高基数字段开启eager_global_ordinals去重使用cardinality性能达标,上线使用八、ES 集群配置优化生产必须设置# 预防聚合OOMindices.breaker.total.use_real_memory:truenetwork.breaker.inflight_requests.overhead:1.2# 队列优化thread_pool.write.queue_size:2000thread_pool.search.queue_size:2000# 内存优化Xms31g Xmx31g九、亿级聚合十大禁忌生产避坑❌ text 类型字段做聚合❌ 关闭 doc_values❌ 不设查询条件全量聚合❌ 聚合 深度分页❌ 单分片超过 100GB❌ 不使用 filter 过滤❌ size 不设置为 0❌ 冷热数据不分离❌ 大集群无协调节点❌ 不开启断路器防止OOM十、总结Elasticsearch完全可以支撑亿级、十亿级数据聚合核心优化点只有几条聚合字段必须是 keyword doc_valuestrue必须用 query 过滤数据范围size0 不返回原始数据高基数字段开启 eager_global_ordinals去重使用 cardinality冷热分离 合理分片按这套方案优化亿级数据聚合可轻松达到秒级甚至毫秒级响应。核心要点回顾亿级聚合快的核心keyword Doc Values必须缩小范围filter range必须关闭返回结果size0高基数字段优化eager_global_ordinals去重统计cardinality架构保障冷热分离 合理分片The End点点关注收藏不迷路