Elasticsearch 查询超过10000 的解决方案 - Python

在Elasticsearch中，默认情况下，一次查询返回的最大结果数是10000。如果您需要查询超过10000个结果，您需要使用Elasticsearch的深度分页功能，并且可能会遇到性能问题。

以下是使用Python的Elasticsearch客户端进行查询的示例代码：

from elasticsearch import Elasticsearch
from elasticsearch import helpers
 
# 连接到Elasticsearch
es = Elasticsearch(hosts=['localhost:9200'])
 
# 查询条件
query = {
    "query": {
        "match_all": {}
    }
}
 
# 使用scan方法进行深度分页查询
scan_res = helpers.scan(
    client=es,
    query=query,
    scroll='5m',  # 设置滚动时间
    size=10000,   # 设置每批次查询的结果数量
    index='your_index'  # 指定索引名
)
 
# 遍历查询结果
for hit in scan_res:
    print(hit)

请注意，scan 方法会使用滚动API来逐步检索大量数据，这可能会占用较多资源。如果查询的结果集非常大，可能需要更多的资源来处理滚动请求，并且可能需要更长的滚动时间。

此外，滚动API的使用也意味着您需要在后台保持滚动上下文的有效性，并且在查询完成后清理滚动资源。如果不手动管理滚动，Elasticsearch将在滚动超时后自动清理滚动资源。