分类 elasticsearch 下的文章

2024-08-12

Elasticsearch是一个基于Lucene的搜索和分析引擎，它设计用于云计算中，能够达到实时搜索，高可用，扩展性好等特点。

以下是一些基本的Elasticsearch操作和概念：

安装与运行Elasticsearch

安装Elasticsearch很简单，可以直接从官网下载对应的版本，然后解压并运行。




wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.0-linux-x86_64.tar.gz
tar -xvf elasticsearch-7.10.0-linux-x86_64.tar.gz
cd elasticsearch-7.10.0/
./bin/elasticsearch

基本概念
- 集群(cluster)：集群是由一个或多个节点组成，这些节点共同持有你整个数据集的副本，并且一起提供搜索服务。
- 节点(node)：节点是你集群中的一个服务器，它存储数据，并参与集群索引和搜索功能。
- 分片(shard)：分片是单个Lucene索引，它们本身就是一个完整的搜索引擎。Elasticsearch会将你的数据拆分到多个分片中，并且这些分片可以分布到不同的节点上。
- 副本(replica)：副本是分片的副本，目的是提供高可用性和增加搜索性能。

使用Elasticsearch的REST API

你可以使用Elasticsearch提供的REST API来与Elasticsearch集群进行交互。例如，你可以创建一个索引，添加一些文档，然后执行搜索。




curl -X PUT "localhost:9200/my_index"
curl -X POST "localhost:9200/my_index/_doc/1" -H 'Content-Type: application/json' -d'
{
  "name": "John Doe"
}
'
curl -X GET "localhost:9200/my_index/_search" -H 'Content-Type: application/json' -d'
{
  "query": { "match": { "name": "John" }}
}
'

使用Elasticsearch的Java API

除了使用REST API，你也可以使用Elasticsearch的Java API来与Elasticsearch集群进行交互。以下是一个简单的例子，展示了如何创建一个索引，添加一些文档，然后执行搜索。




RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
 
// 创建索引
CreateIndexRequest request = new CreateIndexRequest("my_index");
CreateIndexResponse createIndexResponse = client.indices().create(request, RequestOptions.DEFAULT);
 
// 添加文档
IndexRequest indexRequest = new IndexRequest("my_index");
indexRequest.id("1");
indexRequest.source(XContentType.JSON, "name", "John Doe");
IndexResponse indexResponse = client.index(indexRequest, RequestOptions.DEFAULT);
 
// 搜索文档
SearchRequest searchRequest = new SearchRequest("my_index");
searchRequest.source().query(QueryBuilders.matchQuery("name", "John"));
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
 
client.close();

监控Elasticsearch
你可以使用Elasticsearch提供的Kibana或者Cerebro等工具来监控你的E

- 阅读更多 -

【Git】Git的基本操作

System

2024-08-12

所有,elasticsearch

Git是一个开源的分布式版本控制系统，可以有效、高效地处理从小型到大型项目的版本管理。以下是Git的一些基本操作：

安装Git

首先，你需要在你的计算机上安装Git。你可以从Git的官方网站下载安装程序：https://git-scm.com/downloads

配置Git

安装Git后，你需要配置你的用户名和电子邮件地址，这样Git就可以知道是谁在提交更改。




git config --global user.name "Your Name"
git config --global user.email "youremail@example.com"

创建仓库

你可以在新项目或现有项目中初始化Git仓库。

在新项目中：




mkdir myproject
cd myproject
git init

对于现有项目，你可以克隆一个仓库：




git clone https://github.com/user/repo.git

检查状态

你可以使用以下命令检查你的仓库的状态：




git status

跟踪新文件

如果你添加了新文件，你需要告诉Git开始跟踪这个文件。




git add filename

或者，你可以一次性添加所有新文件和修改过的文件：




git add .

提交更改

现在，你可以提交你的更改了。




git commit -m "Your commit message"

推送更改

如果你是在一个远程仓库中工作，你需要将你的更改推送到远程仓库。




git push origin master

拉取更改

如果其他人已经推送了更改，你需要先拉取这些更改。




git pull origin master

查看历史记录

你可以使用以下命令查看你的提交历史记录。




git log

回滚更改

如果你需要撤销更改，你可以使用以下命令回滚到特定的提交。




git revert commit_id

这些是Git的基本操作。随着你的使用，你将开始更多地了解分支、标签、合并冲突等高级概念。

System

2024-08-12

所有,elasticsearch




# 拉取Elasticsearch和Kibana的官方Docker镜像
docker pull docker.elastic.co/elasticsearch/elasticsearch:8.1.0
docker pull docker.elastic.co/kibana/kibana:8.1.0
 
# 启动Elasticsearch容器
docker run -d --name elasticsearch --net=host \
  -e "discovery.type=single-node" \
  -e "xpack.security.enabled=true" \
  -e "ELASTIC_PASSWORD=changeme" \
  -v /path/to/your/elasticsearch/data:/usr/share/elasticsearch/data \
  -v /path/to/your/elasticsearch/logs:/usr/share/elasticsearch/logs \
  docker.elastic.co/elasticsearch/elasticsearch:8.1.0
 
# 启动Kibana容器
docker run -d --name kibana --net=host \
  -e "ELASTICSEARCH_HOSTS=http://localhost:9200" \
  -e "xpack.security.enabled=true" \
  -e "KIBANA_PASSWORD=changeme" \
  docker.elastic.co/kibana/kibana:8.1.0

在这个示例中，我们使用了Elasticsearch和Kibana的最新稳定版本8.1.0。我们启动了Elasticsearch容器，并通过环境变量设置了密码，同时将数据和日志目录挂载到了宿主机。对于Kibana容器，我们设置了与Elasticsearch节点的连接信息，并启用了安全性，设置了Kibana的密码。这些命令应在具有Docker运行环境的Ubuntu系统上执行。

- 阅读更多 -

ElasticSearch之快速入门

System

2024-08-12

所有,elasticsearch




from datetime import datetime
from elasticsearch import Elasticsearch
 
# 连接到Elasticsearch
es = Elasticsearch("http://localhost:9200")
 
# 创建一个新的博客文章
article = {
    'author': '张三',
    'title': 'Elasticsearch: 你好世界!',
    'content': '记录一下如何使用Elasticsearch进行搜索...',
    'tags': ['elasticsearch', 'search', 'nosql'],
    'date': datetime.now()
}
 
# 索引这篇文章
res = es.index(index="articles", id=1, document=article)
print(res['result'])
 
# 搜索文章
query = {
    'match': {
        'content': 'Elasticsearch'
    }
}
 
search = es.search(index="articles", query=query)
print("搜索结果:", search['hits']['hits'])

这段代码演示了如何使用Elasticsearch Python API连接到Elasticsearch服务器，创建一个新的文档，并对其进行索引。然后，它演示了如何执行一个基本的全文搜索，搜索文档中的特定文本内容。

- 阅读更多 -

Elasticsearch 理解相关性评分（TF-IDF、BM25等）

System

2024-08-12

所有,elasticsearch




from sklearn.feature_extraction.text import TfidfVectorizer
import numpy as np
 
# 示例文本
texts = ["Elasticsearch 是一个基于 Apache Lucene 的搜索和分析引擎",
         "它使得数据分析和搜索在不同数据类型中变得简单",
         "Elasticsearch 是用 Java 开发的，并且在 Apache 许可证下分发"]
 
# 将文本转换为 TF-IDF 特征向量
vectorizer = TfidfVectorizer(stop_words='english')
tfidf_matrix = vectorizer.fit_transform(texts)
feature_names = vectorizer.get_feature_names_out()
 
# 打印每个词的 TF-IDF 分数
for doc_index, doc in enumerate(tfidf_matrix):
    print("文档", doc_index)
    for word_index, word_weight in zip(doc.indices, doc.data):
        print(feature_names[word_index], ":", word_weight)
    print()

这段代码使用了scikit-learn库中的TfidfVectorizer来计算给定文本集的TF-IDF特征向量。然后遍历每个文档和每个词的索引及其相关的TF-IDF权重值，打印出来。这有助于理解Elasticsearch中的相关性评分原理。

- 阅读更多 -

ES的单机以及集群搭建

System

2024-08-12

所有,elasticsearch

在单机和集群的Elasticsearch（ES）的搭建中，以下是基本步骤和示例配置：

单机Elasticsearch

下载并解压Elasticsearch:




wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.0-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.10.0-linux-x86_64.tar.gz
cd elasticsearch-7.10.0

运行Elasticsearch:
```
./bin/elasticsearch
```

集群Elasticsearch

准备多个节点的目录，并在每个节点上进行单机安装。
修改配置文件config/elasticsearch.yml，设置集群相关的参数：
```
cluster.name: my-cluster
node.name: node-1
network.host: 192.168.1.1
discovery.seed_hosts: ["192.168.1.1", "192.168.1.2"]
cluster.initial_master_nodes: ["node-1", "node-2"]
```
在其他节点上更改node.name和network.host，并加入相应的discovery.seed_hosts和cluster.initial_master_nodes。
分别在每个节点上启动Elasticsearch。

注意：

确保每个节点的防火墙和安全组设置允许相应的端口（默认是9200和9300）。
确保Elasticsearch用户有足够的文件权限和内存限制。
集群中的所有节点时间应该同步。
集群节点数量至少为3个，以满足quorum大小的要求（对于2个节点的集群，只能有一个节点失败）。

- 阅读更多 -

ES报错:Connection reset by peer解决经历

System

2024-08-12

所有,elasticsearch

解释：

"Connection reset by peer" 错误通常表示一个正在进行的网络连接被对端重置了。这可能是因为对端服务器关闭了连接，或者因为网络问题导致连接不稳定。

解决方法：

检查网络连接：确保网络连接稳定，没有中断或不稳定因素。
服务器负载：检查服务器是否过载，无法处理更多的连接。
超时设置：检查应用程序的超时设置，确保它们设置得足够高，以处理连接。
客户端配置：检查客户端配置，如Elasticsearch客户端的连接池配置，确保它们设置得当。
服务器日志：查看服务器日志文件，可能会提供关于为什么连接被重置的更多信息。
防火墙/安全设置：检查是否有防火墙或安全设置阻止了连接。
服务器资源：确保服务器有足够的资源（CPU、内存、磁盘空间）来处理连接。
服务重启：尝试重启Elasticsearch服务。
更新Elasticsearch：确保Elasticsearch是最新版本，以包含最新的修复和改进。
联系支持：如果问题持续存在，考虑联系Elasticsearch支持寻求帮助。

System

2024-08-12

所有,elasticsearch

报错解释：

这个错误通常发生在Web应用程序中，当尝试通过JavaScript使用XMLHttpRequest对象发起跨源HTTP请求时，如果请求的资源不支持跨源资源共享（CORS），浏览器会阻止这种请求。出现"origin ‘null‘"表明请求没有指定明确的来源，可能是因为请求不是从Web页面发起的，而是从本地文件或者没有指定明确的源。

解决方法：

确保目标URL支持CORS。服务器需要在响应头中包含合适的CORS头部，如Access-Control-Allow-Origin。
如果你控制服务器，请配置服务器以允许来自相应源的请求。
如果你不控制服务器，你可以尝试使用代理服务器来转发请求，代理服务器会添加合适的CORS响应头。
如果是本地测试，可以使用一些开发工具来绕过CORS限制，例如使用一些浏览器插件或者设置浏览器的启动参数。
考虑使用其他不受同源策略限制的技术，如JSONP（如果后端支持）或者服务端代理。

System

2024-08-12

所有,elasticsearch

报错解释：

这个错误表明你正在尝试使用modprobe命令加载一个内核模块（在这个例子中是nf_conntrack_ipv4），但是系统找不到指定的模块。modprobe是一个在Linux系统中用于自动处理内核模块的工具，当它尝试加载依赖的模块时出现问题，就会报出“FATAL: Module ... not found in direct”的错误。

解决方法：

确认模块是否存在：检查你的系统是否支持nf_conntrack_ipv4模块。你可以通过lsmod命令列出当前加载的所有模块，或者通过查看/lib/modules/$(uname -r)/kernel/net/netfilter/目录来确认模块是否存在。
安装缺失的模块：如果模块确实不存在，你可能需要安装它。在某些发行版中，这个模块可能默认不包含在内核中，作为安全优化，它可能需要手动启用或安装。
确认内核配置：如果你编译了你自己的内核，确保nf_conntrack_ipv4模块在内核配置中被启用（比如net.netfilter.nf_conntrack_ipv4=m）。
重新编译并安装内核模块：如果你确定需要这个模块，但系统中没有，你可能需要重新编译并安装它。
更新或重新安装内核：如果你怀疑内核可能损坏或过时，你可以尝试更新到最新的稳定内核版本。
重新启动：在某些情况下，简单的重新启动可以解决临时的内核模块加载问题。

请根据你的系统环境选择适当的解决方法。如果你不熟悉内核模块的编译和安装，考虑寻求有经验的系统管理员的帮助。

- 阅读更多 -

Es之java各种查询操作

System

2024-08-12

所有,elasticsearch

在Elasticsearch中，使用Java进行各种查询操作通常涉及到Elasticsearch客户端库，如Java High Level REST Client。以下是一些常见查询操作的示例代码：

查询所有文档：




RestHighLevelClient client = new RestHighLevelClient(...);
SearchRequest searchRequest = new SearchRequest("index_name");
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
searchSourceBuilder.query(QueryBuilders.matchAllQuery());
searchRequest.source(searchSourceBuilder);
 
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
SearchHits searchHits = searchResponse.getHits();
for (SearchHit hit : searchHits) {
    System.out.println(hit.getSourceAsString());
}
 
client.close();

根据条件查询文档：




RestHighLevelClient client = new RestHighLevelClient(...);
SearchRequest searchRequest = new SearchRequest("index_name");
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
searchSourceBuilder.query(QueryBuilders.matchQuery("field_name", "value"));
searchRequest.source(searchSourceBuilder);
 
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
SearchHits searchHits = searchResponse.getHits();
for (SearchHit hit : searchHits) {
    System.out.println(hit.getSourceAsString());
}
 
client.close();

分页查询：




SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
searchSourceBuilder.from(0); // 起始位置
searchSourceBuilder.size(10); // 每页数量
searchSourceBuilder.query(QueryBuilders.matchAllQuery());
 
SearchRequest searchRequest = new SearchRequest("index_name");
searchRequest.source(searchSourceBuilder);
 
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
SearchHits searchHits = searchResponse.getHits();
for (SearchHit hit : searchHits) {
    System.out.println(hit.getSourceAsString());
}

排序查询：




SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
searchSourceBuilder.query(QueryBuilders.matchAllQuery());
searchSourceBuilder.sort("field_name", SortOrder.ASC); // 根据field_name字段升序排序
 
SearchRequest searchRequest = new SearchRequest("index_name");
searchRequest.source(searchSourceBuilder);
 
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
SearchHits searchHits = searchResponse.getHits();
for (SearchHit hit : se

- 阅读更多 -