es滚动查询

Elasticsearch 滚动查询通常用于对大量数据进行有效迭代处理。在 Elasticsearch 中，滚动查询可以让我们在一个查询中一直获取结果，而不是一次性返回所有结果。这样可以避免内存溢出问题。

滚动查询的基本步骤如下：

1. 初始化一个滚动查询。
2. 执行查询并获取第一批结果。
3. 使用滚动ID进行后续查询以获取更多结果。
4. 当没有更多结果时，滚动查询结束。

以下是一个使用Elasticsearch Python客户端进行滚动查询的示例代码：

from elasticsearch import Elasticsearch
from elasticsearch import helpers
 
es = Elasticsearch("http://localhost:9200")
 
# 滚动查询参数
scroll_time = "5m"  # 滚动时间
scroll_size = 1000  # 每个批次的大小
 
# 初始化滚动查询
res = es.search(
    index="your_index",
    scroll=scroll_time,
    size=scroll_size,
    body={
        "query": {
            "match_all": {}
        }
    }
)
 
# 获取第一批结果
sid = res['_scroll_id']
 
# 滚动查询循环
while True:
    # 使用滚动ID获取下一批结果
    res = es.scroll(scroll_id=sid, scroll=scroll_time)
 
    # 检查是否有结果
    if len(res['hits']['hits']) == 0:
        break
 
    # 处理结果
    for hit in res['hits']['hits']:
        print(hit["_source"])
 
# 清除滚动ID
es.clear_scroll(scroll_id=sid)

在这个例子中，我们首先初始化滚动查询，并设置滚动时间和批次大小。然后，我们进入一个循环，在该循环中，我们使用滚动ID来获取下一批结果，并检查结果列表是否为空。如果为空，我们知道已经遍历了所有结果，可以退出循环。最后，我们清除滚动ID以释放资源。