Tech Blog

2024-09-02

在MySQL中，可以使用INSERT INTO ... ON DUPLICATE KEY UPDATE语句来实现Oracle的"存在即更新、不存在即插入"的需求。这个语法需要你的表中有一个唯一索引或主键，当尝试插入的数据存在（违反了唯一性约束）时，MySQL会执行更新操作，否则会执行插入操作。

以下是一个示例：

假设有一个表example，其中id是主键或唯一索引，并且有两列id和data_field。




INSERT INTO example (id, data_field)
VALUES (1, 'new data')
ON DUPLICATE KEY UPDATE
data_field = 'new data';

在这个例子中，如果id为1的记录已经存在，MySQL将执行更新操作，将id为1的记录的data_field列更新为'new data'。如果记录不存在，将执行插入操作，插入一条新的记录。

- 阅读更多 -

MongoDB 副本集群复制

System

2024-09-02

所有,数据库

在MongoDB中创建副本集群的复制功能，你需要配置mongod实例作为副本集的成员。以下是配置副本集的基本步骤：

启动MongoDB实例，并将它们配置为副本集成员。
连接到其中一个实例并初始化副本集。
将其他实例加入到副本集中。

以下是一个示例配置过程：

假设你有三个MongoDB实例运行在不同的端口上（例如27017, 27018, 27019）。
在每个实例的配置文件中（如mongod.conf），设置replSet名称：




# mongod.conf 示例配置
storage:
  dbPath: /var/lib/mongodb
systemLog:
  destination: file
  logAppend: true
  path: /var/log/mongodb/mongod.log
net:
  port: 27017 # 更改为实际使用的端口号
  bindIp: 127.0.0.1
replication:
  replSetName: "rs0"

启动每个实例的mongod服务。
连接到其中一个实例的MongoDB shell：




mongo --port 27017

在MongoDB shell中初始化副本集：




rs.initiate()

将其他实例加入副本集：




rs.add("localhost:27018")
rs.add("localhost:27019")

以上步骤将创建一个名为rs0的副本集，包含在端口27017、27018和27019上运行的MongoDB实例。确保每个实例的配置文件中net部分的port设置正确，并且你有权限启动mongod进程。

- 阅读更多 -

Tomcat处理请求线程数、最大连接数配置

System

2024-09-02

所有,java

Tomcat处理请求的线程数和最大连接数可以通过修改Tomcat的配置文件server.xml来设置。

最大连接数配置：

在<Connector>标签中，可以通过maxThreads属性来设置Tomcat可以处理的最大线程数，即能够同时处理的请求数。例如：




<Connector port="8080" protocol="HTTP/1.1"
           connectionTimeout="20000"
           redirectPort="8443"
           maxThreads="200"/>

这里将最大线程数设置为200。

请求处理线程数配置：

在<Executor>标签中，可以配置Executor的相关属性，例如：




<Executor name="tomcatThreadPool" namePrefix="catalina-exec-"
    maxThreads="200" minSpareThreads="20"/>

然后在<Connector>标签中引用这个Executor：




<Connector executor="tomcatThreadPool"
           port="8080" protocol="HTTP/1.1"
           connectionTimeout="20000"
           redirectPort="8443" />

这样，你就可以通过调整maxThreads的值来控制Tomcat的最大处理请求线程数。

注意：调整这些参数时，需要考虑到服务器的硬件资源限制，如CPU、内存等，以免资源不足导致Tomcat无法正常工作。

- 阅读更多 -

MongoDB ：第七章：总结一下学习MongoDB的心得

System

2024-09-02

所有,数据库

在MongoDB中，我们主要学习了以下内容：

了解MongoDB的基本概念和安装。
学习如何使用MongoDB shell进行数据库操作。
使用MongoDB驱动程序在应用程序中进行连接和基本的CRUD操作。
学习MongoDB的文档模型和数据类型。
理解MongoDB中的索引和查询操作。
学习MongoDB的聚合管道操作，用于数据的转换和统计分析。
了解MongoDB的复制和分片，以提供高可用性和扩展性。
使用MongoDB的安全特性，如用户认证和访问控制。

心得总结：

MongoDB是一个基于文档的非关系型数据库（NoSQL），它提供了高性能、易于使用和可伸缩性，非常适合处理大量的数据和复杂的查询。学习MongoDB需要理解其文档模型、灵活的查询语言、强大的聚合框架以及复制和分片的机制。同时，安全性也是重要的考虑因素，需要在设计数据库时就进行考虑。

- 阅读更多 -

sonarqube-9.6 & postgresql-13安装

System

2024-09-02

所有,数据库

要在Linux系统上安装SonarQube 9.6和PostgreSQL 13，请按照以下步骤操作：

安装PostgreSQL 13：




# 更新系统包索引
sudo apt-get update
 
# 安装PostgreSQL 13
sudo apt-get install postgresql postgresql-13 postgresql-server-dev-13
 
# 启动PostgreSQL服务
sudo service postgresql start
 
# 切换到postgres用户
sudo -i -u postgres
 
# 创建SonarQube数据库和用户
createuser --pwprompt sonar
createdb -O sonar sonar

安装SonarQube 9.6：




# 下载SonarQube 9.6 (LTS)
wget https://binaries.sonarsource.com/Distribution/sonarqube/sonarqube-9.6.0.5643.zip
 
# 解压缩
unzip sonarqube-9.6.0.5643.zip
 
# 移动SonarQube到合适的目录
mv sonarqube-9.6.0.5643 /usr/local/sonarqube
 
# 给SonarQube目录赋予合适的权限
chown -R postgres:postgres /usr/local/sonarqube
 
# 编辑SonarQube配置文件
nano /usr/local/sonarqube/conf/sonar.properties
 
# 在sonar.properties中添加以下内容（请替换相应的密码和用户名）
sonar.jdbc.username=sonar
sonar.jdbc.password=yourpassword
sonar.jdbc.url=jdbc:postgresql://localhost/sonar

配置SonarQube服务：




# 设置SonarQube为服务
sudo nano /etc/systemd/system/sonarqube.service
 
# 添加以下内容到sonarqube.service
[Unit]
Description=SonarQube service
After=network.target
 
[Service]
Type=simple
User=postgres
Group=postgres
 
ExecStart=/usr/local/sonarqube/bin/linux-x86-64/sonar.sh start
ExecStop=/usr/local/sonarqube/bin/linux-x86-64/sonar.sh stop
 
[Install]
WantedBy=multi-user.target
 
# 重新加载systemd配置
sudo systemctl daemon-reload
 
# 启动SonarQube服务
sudo systemctl start sonarqube
 
# 设置SonarQube服务开机自启
sudo systemctl enable sonarqube

检查SonarQube服务状态：




sudo systemctl status sonarqube

浏览器访问SonarQube：




http://your_server_ip:9000

确保你的防火墙和安全组设置允许访问9000端口。

以上步骤在满足基本安装和运行需求的前提下提供，具体环境可能需要根据实际情况调整配置。

- 阅读更多 -

SpringBoot百万行Excel导入MySQL实践

System

2024-09-02

所有,java




import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.multipart.MultipartFile;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.RestController;
import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.read.listener.ReadListener;
import com.alibaba.excel.context.AnalysisContext;
import com.alibaba.excel.event.AnalysisEventListener;
 
// 假设ExcelModel是对应Excel数据的实体类
@Data
public class ExcelModel {
    // 假设有一些字段
    private String field1;
    private String field2;
    // ...
}
 
// 自定义监听器
public class ExcelListener extends AnalysisEventListener<ExcelModel> {
    private List<ExcelModel> datas = new ArrayList<ExcelModel>();
 
    @Override
    public void invoke(ExcelModel data, AnalysisContext context) {
        datas.add(data);
    }
 
    @Override
    public void doAfterAllAnalysed(AnalysisContext context) {
        // 数据处理完成后的操作，例如将datas批量保存到数据库
        // jdbcTemplate.batchUpdate("INSERT INTO table_name (field1, field2) VALUES (?, ?)", datas);
    }
}
 
@RestController
public class ExcelImportController {
 
    @Autowired
    private JdbcTemplate jdbcTemplate;
 
    @PostMapping("/importExcel")
    public String importExcel(@RequestParam("file") MultipartFile file) {
        try {
            InputStream in = file.getInputStream();
            ExcelListener listener = new ExcelListener();
            EasyExcel.read(in, ExcelModel.class, listener).sheet().doRead();
            return "success";
        } catch (IOException e) {
            e.printStackTrace();
            return "failure";
        }
    }
}

这个代码实例展示了如何使用Spring Boot和EasyExcel来导入百万行Excel数据到MySQL数据库。其中ExcelModel是一个Java实体类，用于映射Excel数据；ExcelListener是自定义的监听器，用于接收解析出来的Excel数据；ExcelImportController是一个Spring RestController，用于处理文件上传和数据导入。在导入完成后，数据会被批量插入到数据库中，以提高性能。

System

2024-09-02

所有,java

这个错误信息是不完整的，但从提供的部分来看，它涉及到MyBatis与Spring的集成问题。org.mybatis.spring.MyBatisSystemException 表明是 MyBatis 与 Spring 集成时遇到了一个系统异常，而后面的 nested exception is org.a 似乎是指一个嵌套的异常，但由于信息不完整，无法确定具体是哪个异常。

解决这个问题的步骤大致如下：

查看完整的异常堆栈信息，找到后面的 org.a 所指的具体异常类型。
根据具体的异常类型，分析可能的原因。例如，如果是 SQLException，可能是SQL语句错误；如果是 DataAccessException，可能是数据访问层的配置问题。
根据分析的原因，进行相应的调整。例如，如果是SQL语句错误，检查MyBatis的映射文件中的SQL语句；如果是配置问题，检查Spring的配置文件，确保MyBatis的SQLSessionFactory和数据源配置正确。
确保所有的MyBatis配置文件（如mybatis-config.xml和Mapper文件）都已正确配置，并且与Spring配置文件中的配置相匹配。
如果问题依然存在，可以考虑查看日志文件，搜索更多的异常信息，或者在开发者社区寻求帮助。

由于错误信息不完整，无法提供更具体的解决方案。需要完整的异常信息或者更多的上下文来进行精确的故障排除。

- 阅读更多 -

Spring Boot 属性配置文件

System

2024-09-02

所有,java

在Spring Boot中，属性配置文件通常是application.properties或application.yml。

1. application.properties 示例




# 服务器配置
server.port=8080
server.context-path=/myapp
 
# 数据库配置
spring.datasource.url=jdbc:mysql://localhost:3306/mydb
spring.datasource.username=myuser
spring.datasource.password=mypass
spring.datasource.driver-class-name=com.mysql.jdbc.Driver

2. application.yml 示例




server:
  port: 8080
  context-path: /myapp
 
spring:
  datasource:
    url: jdbc:mysql://localhost:3306/mydb
    username: myuser
    password: mypass
    driver-class-name: com.mysql.jdbc.Driver

在Spring Boot应用中，这些配置文件会在应用启动时自动加载，并且可以通过@Value注解直接在Java类中使用，或者通过环境变量、命令行参数进行覆盖。

3. 使用@Value注解读取配置




import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;
 
@Component
public class MyBean {
 
    @Value("${my.property}")
    private String myProperty;
 
    // Getter and Setter
}

4. 使用@ConfigurationProperties读取配置




import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.stereotype.Component;
 
@Component
@ConfigurationProperties(prefix = "my")
public class MyConfigProperties {
 
    private String property;
 
    // Getter and Setter
}

在这些示例中，我们展示了如何定义和使用属性配置文件，以及如何通过Spring的@Value注解和@ConfigurationProperties注解将配置属性注入到Spring管理的bean中。

- 阅读更多 -

Ubuntu 22.04 LTS 上安装 Redis

System

2024-09-02

所有,redis

在Ubuntu 22.04 LTS上安装Redis，可以通过以下步骤进行：

更新包列表：




sudo apt update

安装Redis：




sudo apt install redis-server

确认Redis已经安装并运行：




sudo systemctl status redis-server

如果需要配置Redis，可以编辑配置文件 /etc/redis/redis.conf，然后重启Redis服务：




sudo systemctl restart redis-server

默认情况下，Redis监听127.0.0.1（即本地主机）上的6379端口。如果需要远程访问，需要修改配置文件中的bind指令，并确保防火墙设置允许远程访问。

- 阅读更多 -

06 SpringBoot 配置文件详解-application.yaml

System

2024-09-02

所有,java

在SpringBoot中，application.yaml是一个非常重要的配置文件，它用于配置SpringBoot应用程序的属性。这个文件可以包含应用程序的所有配置属性，包括数据库连接信息、服务器设置、以及任何自定义配置。

以下是一个简单的application.yaml文件示例，包含了一些常见的配置设置：




spring:
  datasource:
    url: jdbc:mysql://localhost:3306/mydb
    username: myuser
    password: mypassword
    driver-class-name: com.mysql.cj.jdbc.Driver
 
  jpa:
    hibernate:
      ddl-auto: update
    show-sql: true
    properties:
      hibernate:
        dialect: org.hibernate.dialect.MySQL5Dialect
 
server:
  port: 8080
 
myapp:
  custom-property: value

在这个例子中，我们配置了数据库连接信息，包括数据库URL、用户名和密码。我们还配置了JPA和Hibernate属性，比如更新数据库模式、显示SQL查询以及方言设置。我们还设置了服务器端口，以及一个自定义属性custom-property。

在SpringBoot应用程序中，你可以通过@Value注解或者将配置属性绑定到一个配置类，来使用这些配置属性。例如：




import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;
 
@Component
public class MyAppConfig {
 
    @Value("${myapp.custom-property}")
    private String customProperty;
 
    // Getter and Setter
}

在这个配置类中，我们使用@Value注解来注入application.yaml中定义的custom-property。

这只是application.yaml文件用法的一个简单介绍，实际上它可以用于配置许多不同的属性，包括但不限于外部配置文件、日志设置、安全设置等。

- 阅读更多 -