分类 elasticsearch 下的文章

2024-08-25

在Elasticsearch中选择向量数据库通常意味着你需要在Elasticsearch中存储和查询向量（通常是用于近似最近邻搜索的矢量）。Elasticsearch从6.7.0版本开始原生支持矢量数据的存储和查询。

以下是如何在Elasticsearch中设置和查询向量数据库的步骤：

创建一个包含vectors类型的索引，该索引支持矢量数据。
索引你的数据，包括一个名为vector的字段，该字段包含你要存储的矢量数据。
使用Elasticsearch的knn_searchAPI进行最近邻搜索。

下面是一个如何创建索引并索引一个矢量的例子：




PUT my_vectors
{
  "mappings": {
    "properties": {
      "id": {
        "type": "keyword"
      },
      "vector": {
        "type": "dense_vector", 
        "dims": 5 // 例如5维矢量
      }
    }
  }
}

然后，你可以使用以下命令索引一个具体的矢量：




POST my_vectors/_doc/1
{
  "id": "1",
  "vector": [0.5, 1.5, 0.3, 3.4, 4.5]
}

最后，你可以使用knn_search查询最近的邻：




POST my_vectors/_search
{
  "size": 1,
  "query": {
    "knn": {
      "vector": {
        "vector": [1.0, 1.0, 1.0, 1.0, 1.0],
        "k": 1
      }
    }
  }
}

这个查询将返回给定查询矢量最近的邻居。记得替换my_vectors为你的索引名，vector为你的矢量字段名，并且根据你的需求调整其他参数。

- 阅读更多 -

ElasticSearch DSL查询、排序、分页的原理及语法

System

2024-08-25

所有,elasticsearch

ElasticSearch的查询和搜索是通过ElasticSearch的查询DSL（Domain-Specific Language）来实现的。DSL是一种针对ElasticSearch的特定语言，它允许你构建复杂的查询，并且这些查询可以被序列化为JSON格式，以便ElasticSearch可以理解并高效地执行它们。

查询

ElasticSearch的查询可以通过两种方式进行：全文查询和过滤查询。全文查询主要是用于搜索特定的文档，而过滤查询主要是用于筛选文档。

例如，我们可以使用match查询来进行全文查询：




GET /_search
{
  "query": {
    "match": {
      "message": "elasticsearch"
    }
  }
}

在这个例子中，我们在message字段中搜索包含"elasticsearch"这个词的文档。

我们也可以使用bool查询来进行复杂的过滤查询：




GET /_search
{
  "query": {
    "bool": {
      "must": {
        "match": {
          "message": "elasticsearch"
        }
      },
      "filter": {
        "range": {
          "age": {
            "gte": 10,
            "lte": 20
          }
        }
      }
    }
  }
}

在这个例子中，我们在message字段中搜索包含"elasticsearch"这个词的文档，并且年龄在10到20之间的文档。

排序

ElasticSearch的排序功能可以让我们根据特定的字段对搜索结果进行排序。

例如，我们可以按照timestamp字段进行排序：




GET /_search
{
  "query": {
    "match": {
      "message": "elasticsearch"
    }
  },
  "sort": {
    "timestamp": {
      "order": "desc"
    }
  }
}

在这个例子中，我们在message字段中搜索包含"elasticsearch"这个词的文档，并按照时间戳降序排序。

分页

ElasticSearch的分页功能可以让我们控制返回结果的数量，并可以跳过一定数量的结果。

例如，我们可以每页显示10个结果，并跳过前10个结果：




GET /_search
{
  "query": {
    "match": {
      "message": "elasticsearch"
    }
  },
  "from": 10,
  "size": 10
}

在这个例子中，我们在message字段中搜索包含"elasticsearch"这个词的文档，并跳过前10个结果，然后返回接下来的10个结果。

System

2024-08-25

所有,elasticsearch

rollup-plugin-esbuild 是一个用于 Rollup 打包工具的插件，它使用 esbuild 提供的高度优化的打包和转换服务。以下是如何在 Rollup 配置文件中使用 rollup-plugin-esbuild 的示例代码：




// rollup.config.js
import esbuild from 'rollup-plugin-esbuild';
 
export default {
  input: 'src/index.ts', // 输入文件路径
  output: {
    file: 'dist/bundle.js', // 输出文件路径
    format: 'cjs', // 输出格式，这里是 CommonJS
    sourcemap: true, // 是否生成源映射
  },
  plugins: [
    esbuild({
      include: /\.[jt]sx?$/, // 匹配文件扩展名，这里是 TypeScript 和 JavaScript
      exclude: /node_modules/, // 排除 node_modules 目录
      sourceMap: true, // 是否生成源映射
      target: 'es2015', // 目标环境的 JavaScript 版本
    }),
  ],
};

这段代码配置了 esbuild 插件，使其仅对 TypeScript 和 JavaScript 文件进行转换，并排除了 node_modules 目录，设置了源映射，并且目标环境的 JavaScript 版本是 ES2015。这样的配置能够提高打包和转换的效率，并且生成的代码质量较高。

System

2024-08-25

所有,elasticsearch

在CentOS 7上搭建Elasticsearch 8.12.2集群并安装Kibana 8.12.2的步骤如下：

安装Java，Elasticsearch需要Java运行环境：




sudo yum install java-11-openjdk-devel

添加Elasticsearch用户：




sudo useradd elasticsearch

设置内存锁定，为Elasticsearch系统进程分配固定的内存地址，减少被攻击的风险：




sudo vim /etc/sysctl.conf
# 添加以下内容：
vm.memory_lock = 1
# 应用设置：
sudo sysctl -p

下载并安装Elasticsearch 8.12.2：




wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/8.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-8.x.list
sudo apt-get update && sudo apt-get install elasticsearch

配置Elasticsearch集群，编辑/etc/elasticsearch/elasticsearch.yml：




cluster.name: my-cluster
node.name: node-1
network.host: 192.168.1.10  # 替换为你的IP地址
http.port: 9200
discovery.seed_hosts: ["192.168.1.10", "192.168.1.11"]  # 替换为集群节点IP
cluster.initial_master_nodes: ["node-1", "node-2"]  # 根据节点名称替换

启动并使Elasticsearch服务开机自启：




sudo systemctl start elasticsearch
sudo systemctl enable elasticsearch

对第二个节点进行相同的安装步骤，只是需要更改节点名称和配置文件中的node.name和discovery.seed_hosts。
安装Kibana 8.12.2：




wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/8.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-8.x.list
sudo apt-get update && sudo apt-get install kibana

配置Kibana连接到Elasticsearch，编辑/etc/kibana/kibana.yml：




server.host: "192.168.1.10"  # 替换为你的IP地址
elasticsearch.hosts: ["http://192.168.1.10:9200"]  # 替换为Elasticsearch节点地址

启动并使Kibana服务开机自启：




sudo systemctl start kibana
sudo systemctl enable kibana

确保防火墙设置允许访问9200端口（Elasticsearch默认端口）和5601端口（Kibana默认端口）。

这样，你就在CentOS 7上搭建了Elasticsearch 8.12.2集群并安装了Kibana 8.12.2。

System

2024-08-25

所有,elasticsearch




from langchain import Chain, LLM, LLMCache, MemoryKeyValueStore, ConversationBuffer
from langchain.llms import OpenAI
from langchain.chains import ConversationalLLM
from langchain.chains.llm_caching import LLMCacheOptimizer
from langchain.vectorstores import ElasticSearchVectorStore
from langchain.vectorstores.elasticsearch import ElasticSearchDocumentStore
from langchain.document_stores import ElasticSearch
from langchain.prompts import StaticPromptTemplate
from langchain.chat_models import ChatOpenAI
from langchain.chat_models.baidu_uni_llm import BaiduUniLLM
 
# 初始化百度千帆LLM
baidu_llm = BaiduUniLLM()
 
# 初始化ElasticSearch
es = ElasticSearch(host="localhost", port=9200)
 
# 初始化对话式LLM缓存优化器
conversational_llm_cache_optimizer = LLMCacheOptimizer(
    llm=baidu_llm,
    conversation_buffer=ConversationBuffer(max_messages=1000),
    key_value_store=MemoryKeyValueStore(),
    vectorstore=ElasticSearchVectorStore(es),
    document_store=ElasticSearchDocumentStore(es),
    max_conversations=1000,
)
 
# 创建一个简单的链，使用百度千帆LLM进行问答
chain = Chain.from_llm(baidu_llm)
 
# 创建一个简单的LLM，使用百度千帆LLM进行问答
llm = ChatOpenAI(baidu_llm)
 
# 使用百度千帆LLM进行交谈
llm.converse("你好")
 
# 使用百度千帆LLM进行交谈并优化缓存
conversational_llm_cache_optimizer.converse("你好")

这段代码展示了如何初始化百度千帆平台提供的LLM，并使用ElasticSearch作为向量数据库和文档存储系统，进行基本的交谈和缓存优化。这是一个简化的示例，实际应用中可能需要更复杂的配置和错误处理。

- 阅读更多 -

ES分页问题

System

2024-08-25

所有,elasticsearch

在Elasticsearch中，分页通常是通过from和size参数实现的。from指定了要跳过的文档数量，而size指定了返回的文档最大数量。

例如，如果你想要获取第10页的数据，每页显示10条，你可以这样设置：




from = (page number - 1) * size
size = page size

对于第10页，计算得到：




from = (10 - 1) * 10 = 90
size = 10

在Elasticsearch的查询中，你可以这样使用：




GET /_search
{
  "from": 90,
  "size": 10,
  "query": {
    "match_all": {}
  }
}

这个查询将会从整个索引中获取第10页的数据，每页10条记录。如果你使用的是Elasticsearch的分页Rest客户端，它会为你处理这些计算。

注意：随着数据量的增长，直接使用Elasticsearch的深度分页可能会导致性能问题，因为from参数会增加搜索的成本。在这种情况下，你可能需要考虑使用Search After API或者有界的滚动窗口查询等方法来优化分页性能。

- 阅读更多 -

Elasticsearch概念及ELK安装

System

2024-08-25

所有,elasticsearch

Elasticsearch是一个基于Lucene库的开源搜索和分析引擎，设计用于云计算中的数据分析和日志管理。它可以近乎实时地检索数据，并支持不同类型的数据结构，如文本、数字、日期等。

ELK是指Elasticsearch, Logstash, 和 Kibana的缩写，这三者被广泛使用来整合日志管理和监控系统。

以下是Elasticsearch和ELK的基本安装步骤：

Elasticsearch安装

导入Elasticsearch公钥：




wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

添加Elasticsearch到APT源列表：




sudo sh -c 'echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" > /etc/apt/sources.list.d/elastic-7.x.list'

更新包索引并安装Elasticsearch：




sudo apt-get update && sudo apt-get install elasticsearch

启动并使Elasticsearch服务开机自启：




sudo systemctl start elasticsearch
sudo systemctl enable elasticsearch

Logstash安装

下载Logstash：




wget https://artifacts.elastic.co/downloads/logstash/logstash-7.6.2.tar.gz

解压缩并移动Logstash到/usr/share/：




tar xzvf logstash-7.6.2.tar.gz
sudo mv logstash-7.6.2 /usr/share/

创建软链接：




sudo ln -s /usr/share/logstash-7.6.2/bin/logstash /usr/bin/logstash

Kibana安装

下载Kibana：




wget https://artifacts.elastic.co/downloads/kibana/kibana-7.6.2-amd64.deb

安装Kibana：




sudo dpkg -i kibana-7.6.2-amd64.deb

编辑Kibana配置文件：




sudo nano /etc/kibana/kibana.yml

设置server.port和server.host。

启动并使Kibana服务开机自启：




sudo systemctl start kibana
sudo systemctl enable kibana

验证安装

在浏览器中分别访问：

Elasticsearch: http://localhost:9200
Kibana: http://localhost:5601

确保Elasticsearch和Kibana正在运行，并根据需要调整端口。

- 阅读更多 -

Git 进阶高级用法，重要命令记录

System

2024-08-25

所有,elasticsearch




# 记录Git的进阶用法和命令
 
# 1. 交互式添加文件到暂存区
git add -i
 
# 2. 使用补丁模式解决合并冲突
git checkout --patch <source_branch>
 
# 3. 使用特定的提交创建分支
git branch new-branch-name commit-hash
 
# 4. 使用特定的提交创建标签
git tag tag-name commit-hash
 
# 5. 使用Git命令创建SSH远程库链接
git remote add origin git@github.com:username/repo.git
 
# 6. 使用Git命令克隆带有特定分支的远程库
git clone -b branch-name --single-branch git@github.com:username/repo.git
 
# 7. 使用Git命令查看所有远程引用
git show-ref --tags
 
# 8. 使用Git命令重命名分支
git branch -m old-branch-name new-branch-name
 
# 9. 使用Git命令删除本地分支和远程跟踪分支
git branch -d branch-name
git push origin --delete branch-name
 
# 10. 使用Git命令删除本地标签和远程跟踪标签
git tag -d tag-name
git push origin --delete tag tag-name
 
# 注意：在执行删除远程跟踪分支或标签时，确保你有足够的权限。

这段代码展示了一些Git的高级用法，包括交互式添加文件到暂存区、使用补丁模式解决合并冲突、创建和使用带有特定提交的分支和标签、管理远程库链接和克隆带有特定分支的仓库、查看所有远程引用、重命名分支和删除本地和远程分支及标签。这些命令对于理解Git的强大功能和灵活性非常有帮助。

- 阅读更多 -

终于解决！ElasticSearch公网无法访问的问题

System

2024-08-25

所有,elasticsearch

解释：

ElasticSearch默认只允许本地回环地址（localhost/127.0.0.1）访问，因此如果你尝试从公网或者其他设备访问ElasticSearch实例，会遇到无法连接的问题。

解决方法：

修改配置文件：
找到ElasticSearch的配置文件elasticsearch.yml，通常位于config目录下。
注释或修改以下配置项，允许外部访问：
```
network.host: 0.0.0.0
```
这里的0.0.0.0表示监听所有公网IP。
确保防火墙设置允许对应端口（默认是9200）的访问。
重启ElasticSearch服务以使配置生效。

注意：允许公网访问ElasticSearch可能会带来安全风险，确保你的ElasticSearch实例已经采取了相应的安全措施，比如设置密码、使用安全组和网络ACLs等。

System

2024-08-25

所有,elasticsearch

以下是一个简化的解决方案，用于创建一个新的Vue项目，并配置ESLint、Prettier以及Git提交规范。

安装Node.js和npm（如果尚未安装）。
全局安装Vue CLI：
```
npm install -g @vue/cli
```
创建一个新的Vue项目：
```
vue create my-project
```
进入项目目录：
```
cd my-project
```

安装ESLint、Prettier和相关插件：




npm install --save-dev eslint eslint-plugin-vue prettier eslint-config-prettier eslint-plugin-prettier

创建.eslintrc.js配置文件，并添加以下内容：




module.exports = {
  extends: [
    'plugin:vue/essential',
    'eslint:recommended',
    'plugin:prettier/recommended'
  ],
  rules: {
    // 自定义规则
  }
};

创建.prettierrc配置文件，并添加以下内容：




{
  "semi": false,
  "singleQuote": true
  // 其他Prettier规则
}

配置ESLint在保存时自动格式化代码。在package.json中添加以下脚本：




"scripts": {
  "lint": "eslint --fix --ext .js,.vue src",
  "serve": "vue-cli-service serve",
  "build": "vue-cli-service build",
  "commit": "git-cz"
},
"husky": {
  "hooks": {
    "commit-msg": "commitlint -E HUSKY_GIT_PARAMS"
  }
}

安装commitlint和commitizen：




npm install --save-dev @commitlint/{config-conventional,cli} commitizen

在项目根目录创建.commitlintrc.js：




module.exports = {
  extends: ['@commitlint/config-conventional']
};

创建commitlint.config.js：




module.exports = {
  types: [
    'feat',
    'fix',
    'docs',
    'style',
    'refactor',
    'perf',
    'test',
    'build',
    'ci',
    'chore',
    'revert'
  ]
};

安装commitizen配置：




commitizen init cz-conventional-changelog --save --save-exact

安装husky并设置git hooks：




npm install husky --save-dev
npx husky install

现在可以使用npm run lint来格式化代码，使用npm run serve来启动开发服务器，使用npm run build来构建生产版本，以及使用npm run commit来提交git commit。

以上步骤为您提供了一个基本的Vue项目，并配置了ESLint、Prettier以及符合Angular提交规范的git hooks。根据项目需求，您可能需要调整.eslintrc.js和.prettierrc中的配置，以及commitlint.config.js中的提交类型规则。

- 阅读更多 -