ES系列ES的scroll Api及分页实例

from elasticsearch import Elasticsearch
from elasticsearch import helpers
 
# 连接Elasticsearch
es = Elasticsearch("http://localhost:9200")
 
# 定义scroll参数
scroll = "5m"
 
# 定义查询
query = {
    "query": {
        "match_all": {}
    }
}
 
# 执行查询并获取初始scroll_id
res = es.search(
    index="your_index",
    scroll=scroll,
    size=1000,
    body=query
)
 
scroll_id = res['_scroll_id']
 
# 循环遍历结果
while True:
    # 使用scroll参数来获取下一批结果
    res = es.scroll(scroll_id=scroll_id, scroll=scroll)
    
    # 检查是否有结果
    if res['hits']['hits']:
        # 处理结果
        for hit in res['hits']['hits']:
            print(hit["_source"])
    else:
        # 没有更多结果，退出循环
        break

这段代码演示了如何使用Elasticsearch Python API中的scroll功能来有效地遍历大量数据。它首先执行一个match\_all查询并获取一个初始的scroll\_id，然后在一个循环中使用该scroll\_id来获取后续的批量结果，直至没有更多的结果为止。这种方法适用于需要处理大量数据的场景，可以避免传统分页方法带来的性能问题。