跳到主要内容

索引压力

将文档索引到 Elasticsearch 会以内存和 CPU 负载的形式引入系统负载。每个索引操作都包括协调、主分片和副本阶段。这些阶段可以在集群中的多个节点上执行。

索引压力可能通过外部操作(如索引请求)或内部机制(如恢复和跨集群复制)累积。如果向系统引入过多的索引工作,集群可能会饱和。这会对其他操作(如搜索、集群协调和后台处理)产生不利影响。

为防止这些问题,Elasticsearch 会在内部监控索引负载。当负载超过特定限制时,新的索引工作将被拒绝。

索引阶段​

外部索引操作经历三个阶段:协调、主分片和副本。参阅基本写模型。

内存限制​

indexing_pressure.memory.limit 节点设置限制可用于未完成索引请求的字节数。此设置默认为堆的 10%。

在每个索引阶段开始时,Elasticsearch 会统计索引请求消耗的字节。这些统计只在索引阶段结束时释放。这意味着上游阶段会一直统计请求开销,直到所有下游阶段完成。例如,协调请求会保持被统计,直到主分片和副本阶段完成。主分片请求会保持被统计,直到每个同步副本都已响应,以便在必要时启用副本重试。

当未完成的协调、主分片和副本索引字节数超过配置的限制时,节点将在协调或主分片阶段开始拒绝新的索引工作。

当未完成的副本索引字节数超过配置限制的 1.5 倍时,节点将在副本阶段开始拒绝新的索引工作。这种设计意味着,当节点上的索引压力增大时,它们会自然停止接受协调和主分片工作,转而支持未完成的副本工作。

indexing_pressure.memory.limit 设置的 10% 默认限制是相当宽裕的。你应该仅在仔细考虑之后才更改它。只有索引请求会计入此限制。这意味着还有额外的索引开销(缓冲区、监听器等)也需要堆空间。Elasticsearch 的其他组件也需要内存。将此限制设置得太高可能会剥夺其他操作和组件的运行内存。

监控​

你可以使用节点统计 API 检索索引压力指标。

索引压力设置​

indexing_pressure.memory.limit

可被索引请求消耗的未完成字节数。当达到或超过此限制时,节点将拒绝新的协调和主分片操作。当副本操作消耗此限制的 1.5 倍时,节点将拒绝新的副本操作。默认为堆的 10%。

原文链接