ES RestClient之模糊查询_resthighlevelclient 模糊查询

'# ES RestClient之模糊查询_resthighlevelclient 模糊查询

一、背景与问题

在实际开发中，用户输入的搜索关键词往往存在拼写错误或同义表达。例如在电商搜索场景中，用户可能输入"laptop"或"laptos"，需要返回相关商品。Elasticsearch的模糊查询（Fuzzy Query）通过Levenshtein距离算法实现近似匹配，是解决这类问题的有效手段。

传统精确匹配查询无法处理拼写错误，而通配符查询（Wildcard Query）虽然支持模糊匹配，但性能差且容易产生大量误判。模糊查询在保持高效性的同时，提供了可控的近似匹配能力，是Elasticsearch最核心的模糊搜索功能之一。

二、基本原理

Elasticsearch的模糊查询基于Levenshtein距离算法，计算两个字符串的编辑距离。编辑距离是指将一个字符串转换为另一个字符串所需的最少操作次数（插入/删除/替换）。模糊查询通过以下参数控制匹配精度：

fuzziness：允许的最大编辑距离
- AUTO：根据字段长度自动选择（默认值）
- 0：精确匹配
- 1：允许1个字符错误
- 2：允许2个字符错误
- 自定义数值（如3）
fuzziness的计算规则：
- 短字段（<3）：fuzziness <=2
- 中等字段（3-5）：fuzziness <=3
- 长字段（>5）：fuzziness <=4
prefix_length：不允许修改的前缀长度（默认0）
max_edits：最大允许编辑次数（与fuzziness等价）
fuzzy_transpositions：是否允许交换相邻字符（默认true）
fuzzy_rewrite：重写方式（constant_score/top_count/scoring_boolean）

模糊查询的底层实现通过Lucene的FuzzyQuery，其核心逻辑如下：

public class FuzzyQuery extends Query {
    private final String field;
    private final String value;
    private final int fuzziness;
    private final int prefixLength;
    private final boolean fuzzyTranspositions;
    
    public FuzzyQuery(String field, String value, int fuzziness) {
        this.field = field;
        this.value = value;
        this.fuzziness = fuzziness;
        this.prefixLength = 0;
        this.fuzzyTranspositions = true;
    }
    
    public Query rewrite(IndexReader reader) throws IOException {
        return new ConstantScoreQuery(new FuzzyFilter(field, value, fuzziness, prefixLength, fuzzyTranspositions));
    }
}

三、环境准备

在使用RestHighLevelClient前，需要确保以下条件：

已安装Elasticsearch（7.x+版本）
添加Maven依赖：

<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>elasticsearch-rest-high-level-client</artifactId>
    <version>7.17.1</version>
</dependency>

注意：RestHighLevelClient在Elasticsearch 8.x版本中已被弃用，建议使用新的Java客户端。但本文基于7.x版本进行说明。

四、核心实现

1. 基础模糊查询

创建索引并插入测试数据：

RestHighLevelClient client = new RestHighLevelClient(
    RestClient.builder(new HttpHost("localhost", 9200, "http")));

CreateIndexRequest request = new CreateIndexRequest("products");
request.mapping("properties", 
    XContentFactory.jsonBuilder().startObject()
        .field("name", new HashMap<String, Object>() {{
            put("type", "text");
        }})
    .endObject()
);

client.indices().create(request, RequestOptions.DEFAULT);

插入测试数据：

IndexRequest indexRequest = new IndexRequest("products");
indexRequest.source(XContentFactory.jsonBuilder()
    .startObject()
        .field("name", "laptop")
    .endObject()
);

IndexResponse response = client.index(indexRequest, RequestOptions.DEFAULT);

执行模糊查询：

SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
sourceBuilder.query(QueryBuilders.fuzzyQuery("name", "laptos"));

SearchRequest searchRequest = new SearchRequest("products");
searchRequest.source(sourceBuilder);

SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);

关键代码解释：

QueryBuilders.fuzzyQuery("name", "laptos") 创建模糊查询
fuzziness 默认为AUTO，根据字段长度自动调整
查询返回所有与"laptos"编辑距离<=2的文档

2. 自定义模糊参数查询

SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
sourceBuilder.query(
    QueryBuilders.fuzzyQuery("name", "laptos")
        .fuzziness(Fuzziness.AUTO)
        .prefixLength(1)
        .fuzzyTranspositions(false)
);

SearchRequest searchRequest = new SearchRequest("products");
searchRequest.source(sourceBuilder);

参数说明：

prefixLength(1)：不允许修改前1个字符
fuzzyTranspositions(false)：禁用字符交换（如"laptos"→"lapots"）

3. 嵌套模糊查询

SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
sourceBuilder.query(
    QueryBuilders.boolQuery()
        .should(QueryBuilders.fuzzyQuery("name", "laptos"))
        .must(QueryBuilders.matchQuery("category", "electronics"))
);

SearchRequest searchRequest = new SearchRequest("products");
searchRequest.source(sourceBuilder);

应用场景：

需要同时满足多个条件的复杂查询
结合其他查询类型（match、range等）使用

五、完整案例

电商商品搜索系统

场景需求：

支持用户输入的模糊搜索（如"laptop"或"laptos"）
要求返回商品名称、价格、库存等信息
支持分页和排序

完整代码实现：

public class ESSearchService {
    private RestHighLevelClient client;
    
    public ESSearchService() {
        client = new RestHighLevelClient(
            RestClient.builder(new HttpHost("localhost", 9200, "http")));
    }
    
    public SearchResponse searchProducts(String query, int page, int size) throws IOException {
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        
        // 基础模糊查询
        sourceBuilder.query(QueryBuilders.fuzzyQuery("name", query)
            .fuzziness(Fuzziness.AUTO)
            .prefixLength(0)
        );
        
        // 分页设置
        sourceBuilder.from((page - 1) * size);
        sourceBuilder.size(size);
        
        // 排序
        sourceBuilder.sort(SortBuilders.scoreSort());
        
        // 构建搜索请求
        SearchRequest searchRequest = new SearchRequest("products");
        searchRequest.source(sourceBuilder);
        
        return client.search(searchRequest, RequestOptions.DEFAULT);
    }
    
    public void close() throws IOException {
        client.close();
    }
}

使用示例：

public class Main {
    public static void main(String[] args) throws IOException {
        ESSearchService service = new ESSearchService();
        
        SearchResponse response = service.searchProducts("laptos", 1, 10);
        
        for (SearchHit hit : response.getHits().getHits()) {
            System.out.println("Product: " + hit.getSourceAsMap().get("name"));
            System.out.println("Price: " + hit.getSourceAsMap().get("price"));
        }
        
        service.close();
    }
}

六、源码解析

Elasticsearch的模糊查询在底层使用Lucene的FuzzyQuery，其核心逻辑如下：

public class FuzzyQuery extends Query {
    private final String field;
    private final String value;
    private final int fuzziness;
    private final int prefixLength;
    private final boolean fuzzyTranspositions;
    
    public FuzzyQuery(String field, String value, int fuzziness) {
        this.field = field;
        this.value = value;
        this.fuzziness = fuzziness;
        this.prefixLength = 0;
        this.fuzzyTranspositions = true;
    }
    
    public Query rewrite(IndexReader reader) throws IOException {
        return new ConstantScoreQuery(new FuzzyFilter(field, value, fuzziness, prefixLength, fuzzyTranspositions));
    }
}

关键点分析：

rewrite方法将查询转换为FuzzyFilter，用于过滤匹配文档
FuzzyFilter使用LevenshteinDistance计算编辑距离
FuzzyFilter支持通过setMaxEdits控制最大编辑次数

七、进阶使用

1. 结合过滤器上下文使用

SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
sourceBuilder.query(
    QueryBuilders.filteredQuery(
        QueryBuilders.fuzzyQuery("name", "laptop"),
        FilterBuilders.termFilter("category", "electronics")
    )
);

优势：

使用filteredQuery可以避免评分计算，提高性能
适用于需要精确过滤的场景

2. 使用脚本查询实现复杂模糊逻辑

SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
sourceBuilder.query(
    QueryBuilders.scriptQuery(new Script(
        "if (params._source.name != null) { " +
        "   return fuzzyScore(params._source.name, params.query) " +
        "} else { return 0 }",
        ScriptType.INLINE,
        Map.of("query", "laptop")
    ))
);

适用场景：

需要自定义模糊计算逻辑
结合其他条件进行复杂匹配

八、性能与工程实践

1. 性能优化策略

索引优化：
- 对常用搜索字段设置fielddata或doc_values存储
- 使用copy_to字段合并多个搜索字段
- 对长文本字段设置analyzer为standard或keyword
查询优化：
- 使用filter上下文避免评分计算
- 限制fuzziness参数范围（建议设置为2）
- 对于高并发场景使用search_type为dfs_query_and_filter
分页优化：
- 使用search_after代替深度分页
- 对于大数据量使用scroll API

2. 安全风险分析

SQL注入风险：
- 虽然Elasticsearch不支持SQL注入，但应避免直接拼接查询字符串
- 使用QueryBuilders类的方法构建查询
数据暴露风险：
- 禁用_all字段，防止敏感信息泄露
- 对搜索结果进行脱敏处理

九、常见问题与踩坑

1. 常见错误分析

错误示例：

QueryBuilders.fuzzyQuery("name", "laptop").fuzziness(3)

问题分析：

fuzziness参数必须使用Fuzziness枚举类型
fuzziness取值范围受字段长度限制

解决方案：

QueryBuilders.fuzzyQuery("name", "laptop")
    .fuzziness(Fuzziness.AUTO)
    .prefixLength(0)

2. 特殊字符处理问题

问题场景：

用户输入包含特殊字符（如laptop!）时，模糊查询失效