Elasticsearch-ES查询单字段去重

在Elasticsearch中，可以使用聚合查询（aggregations）来实现单个字段的去重。以下是一个使用Elasticsearch DSL（Elasticsearch的查询语言）和Elasticsearch的Java API来进行单个字段去重的例子。

假设我们有一个名为my_index的Elasticsearch索引，我们想要去重字段my_field。

使用Elasticsearch DSL的查询方式：

{
  "size": 0,
  "aggs": {
    "distinct_values": {
      "terms": {
        "field": "my_field",
        "size": 10000
      }
    }
  }
}

使用Elasticsearch Java API的查询方式：

SearchRequest searchRequest = new SearchRequest("my_index");
searchRequest.source(new SearchSourceBuilder()
    .size(0)
    .aggregation(
        AggregationBuilders
            .terms("distinct_values")
            .field("my_field")
            .size(10000)
    )
);
 
RestHighLevelClient client; // 假设已经初始化
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
Aggregations aggregations = searchResponse.getAggregations();
Terms distinctValuesAgg = aggregations.get("distinct_values");
for (Terms.Bucket bucket : distinctValuesAgg.getBuckets()) {
    String distinctValue = bucket.getKeyAsString();
    // 处理去重后的值
}

在这两个例子中，我们使用了terms聚合查询来对字段my_field进行去重，并且设置了size参数为10000，这表示我们期望返回的去重值的最大数量。注意，由于Elasticsearch的聚合查询是基于内存的，所以size参数不能无限制增大，因为它限定了Elasticsearch将使用多少内存来进行聚合。

在Java API的例子中，我们通过SearchRequest构建了查询请求，并且使用RestHighLevelClient来执行查询并获取结果。然后我们遍历返回的每个去重值，可以在这里执行后续的处理逻辑。