Windows系统下将MySQL数据库表内的数据全量导入Elasticsearch

为了将MySQL数据全量导入Elasticsearch，你可以使用Logstash和JDBC插件。以下是一个基本的Logstash配置文件示例，它使用JDBC插件从MySQL数据库读取数据，并将其导入到Elasticsearch中。

1. 确保你已经安装了Elasticsearch和Kibana。
2. 安装Logstash，并确保已经安装了logstash-input-jdbc插件。
3. 在MySQL数据库中创建一个用户，该用户具有访问你想要导入数据的表的权限。
4. 确保你的MySQL JDBC驱动程序（例如mysql-connector-java-x.x.x-bin.jar）在Logstash的插件目录中。

Logstash配置文件 (logstash-mysql.conf) 示例：

input {
  jdbc {
    jdbc_driver_library => "path/to/mysql-connector-java-x.x.x-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/your_database"
    jdbc_user => "your_mysql_username"
    jdbc_password => "your_mysql_password"
    schedule => "* * * * *" # 每分钟执行一次
    statement => "SELECT * FROM your_table"
    clean_run => true
    record_last_run => true
    last_run_metadata_path => "path/to/last_run_metadata.txt"
  }
}
 
filter {
  json {
    source => "message"
    remove_field => ["message"]
  }
}
 
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "your_index"
    document_id => "%{unique_id_field}" # 替换为你的唯一ID字段
  }
}

确保修改以上配置文件中的以下部分：

• jdbc_driver_library：JDBC驱动程序的路径。
• jdbc_connection_string：MySQL数据库的连接字符串。
• jdbc_user 和 jdbc_password：你的MySQL用户凭据。
• schedule：Logstash执行的时间表（cron语法）。
• statement：从数据库中选择数据的SQL语句。
• index：Elasticsearch中的索引名称。
• document_id：用于Elasticsearch文档ID的字段。

运行Logstash时，使用以下命令：

bin/logstash -f path/to/logstash-mysql.conf

这将根据配置文件的设置定期将MySQL表中的数据导入到Elasticsearch中。