标签分词下的文章

ElasticSearch：centos7安装elasticsearch7，kibana，ik中文分词器,云服务器安装elasticsearch

2024-08-26

在CentOS 7上安装Elasticsearch 7、Kibana以及中文分词器IK，可以按照以下步骤进行：

导入Elasticsearch和Kibana的公钥：




rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

创建Elasticsearch的yum仓库文件：




echo "[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md" | sudo tee /etc/yum.repos.d/elasticsearch.repo

安装Elasticsearch：




sudo yum install --enablerepo=elasticsearch elasticsearch

启动并设置Elasticsearch开机自启：




sudo systemctl start elasticsearch.service
sudo systemctl enable elasticsearch.service

下载并安装Kibana：




echo "[kibana-7.x]
name=Kibana repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md" | sudo tee /etc/yum.repos.d/kibana.repo
 
sudo yum install --enablerepo=kibana kibana
 
sudo systemctl start kibana.service
sudo systemctl enable kibana.service

安装中文分词器IK：
首先，你需要在Elasticsearch的config目录下的elasticsearch.yml文件中添加以下配置，以支持中文：




index.codec: best_compression

然后，你可以通过Elasticsearch的插件命令安装IK分词器：




sudo /usr/share/elasticsearch/bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.7.0/elasticsearch-analysis-ik-7.7.0.zip

确保你的云服务器安全组或防火墙规则允许访问Elasticsearch和Kibana的默认端口（9200和5601）。

System

2024-08-26

所有,elasticsearch

在ElasticSearch中，基于拼音分词器和IK分词器模拟实现“百度”搜索框的自动补全功能，可以通过以下步骤实现：

创建索引，并定义映射规则，包括自动补全的分词器。
索引文档，并使用自动补全的分词器进行索引。
使用自动补全API进行搜索。

以下是一个简化的ElasticSearch DSL示例，演示如何定义自动补全分词器和使用自动补全功能：




PUT /my_index
{
  "settings": {
    "analysis": {
      "tokenizer": {
        "my_pinyin_tokenizer": {
          "type": "pinyin",
          "keep_full_pinyin": false,
          "keep_joined_full_pinyin": true,
          "keep_original": true,
          "limit_first_letter_length": 16,
          "lowercase": true,
          "remove_duplicated_term": true
        }
      },
      "analyzer": {
        "my_pinyin_analyzer": {
          "type": "custom",
          "tokenizer": "my_pinyin_tokenizer"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "my_pinyin_analyzer",
        "search_analyzer": "my_pinyin_analyzer"
      }
    }
  }
}

在上述代码中，我们定义了一个名为my_pinyin_tokenizer的拼音分词器，并将其作为my_pinyin_analyzer分词器的一部分。

接下来，我们可以使用自动补全API进行搜索：




GET /my_index/_search?pretty
{
  "suggest": {
    "my_suggestion": {
      "text": "baidu",
      "term": {
        "field": "content"
      }
    }
  }
}

在这个查询中，我们使用suggest查询来提供自动补全建议。这只是一个基本示例，实际应用中可能需要更复杂的逻辑来处理搜索请求，例如过滤停用词、相关性排名等。

- 阅读更多 -

ES分词查询

System

2024-08-25

所有,elasticsearch

在Elasticsearch中，分词查询通常是指对文本字段进行分词，并查找包含特定分词后的词的文档。这通常涉及到两种查询：match查询和term查询。

match查询用于全文搜索，它会对查询的文本进行分析（分词），然后查找包含分析后的词的文档。

term查询用于精确匹配，它不会对查询的文本进行分析，而是直接查找精确匹配的值。

以下是一个Elasticsearch DSL（Domain Specific Language）的查询示例，使用Elasticsearch的Python客户端：




from elasticsearch import Elasticsearch
 
# 连接到Elasticsearch
es = Elasticsearch("http://localhost:9200")
 
# 查询关键字
search_keyword = "example"
 
# 执行match查询
match_query = {
    "query": {
        "match": {
            "content": search_keyword  # 假设我们搜索的字段是"content"
        }
    }
}
 
# 执行term查询
term_query = {
    "query": {
        "term": {
            "content.keyword": {  # 对于不分析的字段，后缀.keyword用于精确匹配
                "value": search_keyword
            }
        }
    }
}
 
# 执行查询
match_response = es.search(index="my_index", body=match_query)
term_response = es.search(index="my_index", body=term_query)
 
# 输出结果
print("Match query result:", match_response)
print("Term query result:", term_response)

在这个例子中，我们使用了match查询来搜索content字段中包含"example"词的文档，使用term查询来精确搜索content.keyword字段中值为"example"的文档。记得根据实际情况调整索引名称my_index和字段名称content。

System

2024-08-25

所有,elasticsearch




POST /_analyze
{
  "analyzer": "ik_max_word",
  "text": "中华人民共和国国旗"
}

以上代码使用了Elasticsearch的_analyze端点，配合ik分词器的ik_max_word分词器来对“中华人民共和国国旗”进行分词。这个分词过程将会把这段文本拆分成最能反映其含义的词汇，有助于后续的搜索和索引操作。

System

2024-08-25

所有,elasticsearch

在Elasticsearch中，ik分词器是一个非常流行的中文分词器，它提供了多种分词算法，并且容易进行扩展。然而，在使用ik分词器的过程中，可能会遇到各种问题，如内存泄露、性能问题等。

解决ik分词器可能遇到的问题，需要从以下几个方面入手：

监控和分析GC（垃圾回收）日志，确保Elasticsearch的堆内存分配是合理的，避免频繁的FGC和OOM。
调整JVM堆的大小和分配，确保Elasticsearch有足够的堆内存来支持ik分词器的运行。
优化ik分词器的配置，包括词典、停用词等，减少内存的使用。
使用ik分词器的最新版本，这些版本可能修复了内存泄露的问题，或者提供了新的优化。
如果问题仍然存在，可以考虑使用其他分词器，或者自定义分词器插件，以解决特定问题。

下面是一个简单的示例，演示如何调整Elasticsearch的JVM参数来优化ik分词器的性能和内存使用：




# 设置Elasticsearch的最大堆内存和初始堆内存
export ES_HEAP_SIZE=16g
export ES_MAX_MEM=16g
 
# 启动Elasticsearch
./bin/elasticsearch

在生产环境中，监控工具如Elasticsearch自带的Monitoring功能，或第三方监控工具（如ElasticHQ、Grafana），可以帮助你实时监控Elasticsearch的性能和资源使用情况，及时发现问题。

综上所述，要精细地玩转ik分词器，需要对JVM内存管理、分词器配置、Elasticsearch监控等有深入的理解和实践经验。在实际操作中，还需要结合具体的Elasticsearch版本和部署环境进行调整和优化。

- 阅读更多 -

ES全文检索支持繁简和IK分词检索

System

2024-08-25

所有,elasticsearch

在Elasticsearch中，使用IK分词器可以支持繁体中文和简体中文的分词。以下是一个使用Elasticsearch DSL（Domain-Specific Language）创建索引并使用IK分词器的示例代码：




from datetime import datetime
from elasticsearch_dsl import Keyword, Text, Date, Integer, connections
from elasticsearch_dsl.analysis import CustomAnalyzer
 
# 连接到Elasticsearch
connections.create_connection(hosts=['localhost:9200'])
 
# 定义一个自定义分词器
ik_analyzer = CustomAnalyzer(
    'ik_analyzer',
    filter=['lowercase'],
    tokenizer='ik_max_word'
)
 
# 定义一个Document类
class Article(Document):
    title = Text(analyzer='ik_analyzer')
    content = Text(analyzer='ik_analyzer')
    publish_date = Date()
    author = Keyword()
    length = Integer()
 
    class Index:
        name = 'articles'
 
# 创建索引
Article.init()
 
# 使用Document类创建一个文档实例
article = Article(
    title='Python Elasticsearch 分词测试',
    content='这是一个测试文档，用来演示Elasticsearch的分词效果。',
    publish_date=datetime.now(),
    author='测试者',
    length=100
)
 
# 将文档保存到Elasticsearch
article.save()

在这个示例中，我们首先定义了一个自定义分词器ik_analyzer，指定了分词器类型为ik_max_word，然后定义了一个名为Article的Document类，在其中使用了ik_analyzer分词器。接着，我们创建了一个Article的实例并保存到Elasticsearch中。这样就实现了使用Elasticsearch DSL结合IK分词器进行文档的创建和保存。

System

2024-08-25

所有,elasticsearch

在CentOS 7上安装Elasticsearch、Kibana以及中文分词器IK，可以按照以下步骤进行：

导入Elasticsearch和Kibana的公钥：




rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

创建Elasticsearch的yum仓库文件：




echo "[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md" | sudo tee /etc/yum.repos.d/elasticsearch.repo

安装Elasticsearch：




sudo yum install --enablerepo=elasticsearch elasticsearch

启动并设置Elasticsearch开机自启：




sudo systemctl start elasticsearch.service
sudo systemctl enable elasticsearch.service

下载Kibana的yum仓库文件：




echo "[kibana-7.x]
name=Kibana repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md" | sudo tee /etc/yum.repos.d/kibana.repo

安装Kibana：




sudo yum install kibana

编辑Kibana配置文件，指定Elasticsearch的地址：




sudo vim /etc/kibana/kibana.yml

找到或添加以下行：




elasticsearch.hosts: ["http://localhost:9200"]

启动并设置Kibana开机自启：




sudo systemctl start kibana.service
sudo systemctl enable kibana.service

安装中文分词器IK：
首先，你需要在Elasticsearch的config/elasticsearch.yml文件中添加以下行来启用插件：




action.auto_create_index: ".security,.monitoring*,.watches,.triggered_watches,.watcher-history*,.ml*,.slm*,logstash*,.kibana*,.kibana_task*,.transform*".superuser_only: false

然后，重新启动Elasticsearch。

接下来，你可以使用Elasticsearch的插件命令来安装IK分词器：




sudo /usr/share/elasticsearch/bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.7.0/elasticsearch-analysis-ik-7.7.0.zip

确保替换版本号v7.7.0为你安装的Elasticsearch版本。

重新启动Elasticsearch以应用插件更改。

以上步骤安装了Elasticsearch、Kibana，并为Elasticsearch添加了中文分词器IK。确保你有足够的权限执行这些命令，并且在安装过程中没有遇到网络或权限问题。

- 阅读更多 -

ElasticSearch+IK分词器的安装以及使用介绍

System

2024-08-25

所有,elasticsearch

ElasticSearch 是一个基于 Apache Lucene 的搜索和分析引擎，它使你能够快速、近乎实时地存储、搜索和分析大量数据。IK分词器是一个开源的、结合了中文词库和词向量的分词插件，用于处理中文文本。

安装 IK 分词器通常涉及以下步骤：

确保你已经安装了 ElasticSearch。
下载与你的 ElasticSearch 版本相匹配的 IK 分词器版本。
将 IK 分词器插件复制到 ElasticSearch 的插件目录中。
重启 ElasticSearch 以使插件生效。

以下是一个简单的示例，演示如何在 ElasticSearch 中使用 IK 分词器：




PUT /my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "ik_analyzer": {
          "type": "custom",
          "tokenizer": "ik_max_word"
        }
      }
    }
  }
}
 
POST /my_index/_analyze
{
  "text": "中华人民共和国国旗",
  "analyzer": "ik_analyzer"
}

在这个示例中，我们首先创建了一个名为 my_index 的索引，并在其设置中定义了一个使用 IK 分词器的分析器 ik_analyzer。然后，我们使用 _analyze 端点测试分词器对“中华人民共和国国旗”这句话的分词效果。

请注意，具体的安装步骤可能会根据 ElasticSearch 和 IK 分词器的版本有所变化，因此建议参考官方文档进行安装。

System

2024-08-25

所有,elasticsearch

在Elasticsearch中安装和使用Head插件进行可视化管理以及配置IK分词器的步骤如下：

安装Head插件
首先，你需要在Elasticsearch的根目录下运行以下命令来安装Head插件：




./bin/elasticsearch-plugin install mobz/elasticsearch-head

安装完成后，启动Elasticsearch服务。

使用Head插件
启动后，你可以通过访问http://localhost:9200/_plugin/head/来使用Head插件进行可视化管理。
配置IK分词器
首先，你需要下载与你的Elasticsearch版本相对应的IK分词器版本。然后，将下载的ik分词器的jar包放置到Elasticsearch的plugins目录下的对应文件夹内（如果没有该文件夹，则需要创建）。

例如，如果你的Elasticsearch版本是7.x，那么你可以这样做：




mkdir -p ./plugins/ik
cp elasticsearch-analysis-ik-7.x.x.zip ./plugins/ik
unzip elasticsearch-analysis-ik-7.x.x.zip

然后重启Elasticsearch服务，分词器即可使用。

使用IK分词器
在创建索引时，可以指定分析器为IK分词器：




PUT /my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "ik_analyzer": {
          "type": "ik"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "ik_analyzer"
      }
    }
  }
}

然后，你可以使用Head插件中的搜索栏进行测试，输入文本后选择分词器进行分词。

注意：以上代码示例中的命令和配置可能需要根据你的实际Elasticsearch版本进行适当的调整。

System

2024-08-25

所有,elasticsearch

Elasticsearch-analysis-jieba 是一个为 Elasticsearch 提供中文分词的插件，它基于结巴中文分词库。

在Elasticsearch 8.7.0中安装和配置elasticsearch-analysis-jieba分词器的步骤如下：

首先，你需要有一个运行的Elasticsearch 8.7.0 实例。
下载与Elasticsearch 8.7.0 兼容的elasticsearch-analysis-jieba插件。你可以在Elasticsearch官方插件仓库或者其他可信的插件源中寻找。

安装插件。你可以使用Elasticsearch提供的elasticsearch-plugin命令进行安装。例如：




bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-jieba/releases/download/v8.7.0.0/elasticsearch-analysis-jieba-8.7.0.0.zip

重启Elasticsearch服务。

在Elasticsearch中使用jieba分词器。例如，创建一个包含jieba分词器的索引：




PUT /my_index
{
  "settings": {
    "analysis": {
      "tokenizer": {
        "my_tokenizer": {
          "type": "jieba_tokenizer",
          "mode": "search"
        }
      }
    }
  }
}

使用分词器分词。例如：




POST /my_index/_analyze
{
  "tokenizer": "my_tokenizer",
  "text": "我爱北京天安门广场"
}

请注意，具体的安装步骤可能随着Elasticsearch版本和插件版本的不同而有所变化。如果你在安装过程中遇到任何问题，请参考官方文档或者社区支持。

- 阅读更多 -