分类后端技术下的文章

2024-09-02

所有,redis

Redis的内存管理主要是通过过期键的删除策略和内存淘汰策略来实现的。

过期键删除策略：
Redis使用惰性删除和定时删除两种策略。

惰性删除：当客户端请求某个键时，Redis会检查键是否过期，如果过期就删除它。
定时删除：Redis默认每100ms会随机抽查一些设置了过期时间的键，检查并删除其中已经过期的键。

内存淘汰策略：
当Redis的内存超出了最大内存设置（maxmemory），Redis将会根据配置的淘汰策略来移除一些键。

noeviction：不进行任何淘汰，当内存不足时，新写入命令会报错。
allkeys-lru：当内存不足以容纳更多数据时，使用最近最少使用算法进行淘汰。
volatile-lru：只对设置了过期时间的键进行最近最少使用算法的淘汰。
allkeys-random：在所有键中随机淘汰。
volatile-random：在设置了过期时间的键中随机淘汰。
volatile-ttl：淘汰即将过期的键，优先淘汰TTL更短的键。

以下是Redis配置内存淘汰策略的示例：




# 设置Redis最大内存为100mb
maxmemory 100mb

# 设置淘汰策略为allkeys-lru
maxmemory-policy allkeys-lru

在实际应用中，可以根据业务需求和数据的重要程度来选择合适的淘汰策略。

Sqlite3入门和c/c++下使用

2024-09-02

所有,数据库

在C/C++中使用SQLite3的基本步骤如下：

打开数据库连接。
执行SQL语句。
关闭数据库连接。

以下是一个简单的示例代码，展示了如何在C/C++中使用SQLite3：




#include <sqlite3.h>
#include <stdio.h>
 
int main() {
    sqlite3 *db;
    char *err_msg = 0;
    int rc;
 
    rc = sqlite3_open("example.db", &db);
    if (rc != SQLITE_OK) {
        fprintf(stderr, "Cannot open database: %s\n", sqlite3_errmsg(db));
        sqlite3_close(db);
        return 1;
    }
 
    const char *sql = "CREATE TABLE IF NOT EXISTS people ("
                      "id INTEGER PRIMARY KEY,"
                      "name TEXT,"
                      "age INTEGER,"
                      "address TEXT"
                      ");";
 
    rc = sqlite3_exec(db, sql, 0, 0, &err_msg);
    if (rc != SQLITE_OK) {
        fprintf(stderr, "SQL error: %s\n", err_msg);
        sqlite3_free(err_msg);
        sqlite3_close(db);
        return 1;
    }
 
    sqlite3_close(db);
    return 0;
}

这段代码首先尝试打开一个名为example.db的SQLite数据库。如果数据库不存在，它将创建一个新的数据库文件。然后，它创建了一个名为people的表（如果该表尚不存在），该表具有id, name, age, address这几列。最后，它关闭了数据库连接。

确保在编译此代码时链接SQLite3库。如果你使用的是gcc，可以通过添加-lsqlite3来链接SQLite3库。

2024-09-02

由于CVE-2022-22963是一个关于Spring Cloud Function的安全漏洞，它涉及到Spring表达式语言（Spring Expression Language, SpEL）的不当使用，可能导致远程代码执行。

要复现这个漏洞，你需要：

创建一个使用Spring Cloud Function的应用。
利用SpEL表达式进行远程代码执行。

以下是一个简单的SpEL表达式利用例子，它可以作为漏洞的触发点：




import org.springframework.expression.ExpressionParser;
import org.springframework.expression.spel.standard.SpelExpressionParser;
 
public class VulnerabilityExploit {
    public static void main(String[] args) {
        // 构造恶意SpEL表达式
        String spElExpression = "#{T(java.lang.Runtime).getRuntime().exec('whoami')}";
 
        // 解析SpEL表达式
        ExpressionParser parser = new SpelExpressionParser();
        Object result = parser.parseExpression(spElExpression).getValue();
 
        // 输出执行结果
        System.out.println(result);
    }
}

请注意，这个代码示例仅用于说明漏洞的复现方法，实际应用中应当避免使用未经验证的输入，并且及时应用安全补丁。

Tomcat：初识Tomcat

2024-09-02

Tomcat 是一个开源的 Java Servlet 容器，用于运行 Java 语言编写的 Web 应用程序。以下是如何安装和运行 Tomcat 的基本步骤：

下载 Tomcat：访问 Apache Tomcat 官网 (https://tomcat.apache.org/) 下载最新版本的 Tomcat。
安装 Tomcat：解压下载的压缩包到指定的文件夹。
配置环境变量：设置 CATALINA_HOME 环境变量指向 Tomcat 的安装目录。
启动 Tomcat：运行 bin/startup.sh (在 Unix 系统上) 或 bin/startup.bat (在 Windows 系统上) 启动 Tomcat 服务器。
访问 Tomcat：打开浏览器，访问 http://localhost:8080，应该能看到 Tomcat 的欢迎页面。

以下是一个简单的例子，演示如何在 Tomcat 中部署一个简单的 Servlet 应用程序：

创建一个简单的 Servlet 类：




import java.io.*;
import javax.servlet.*;
import javax.servlet.http.*;
 
public class HelloWorldServlet extends HttpServlet {
    public void doGet(HttpServletRequest request, HttpServletResponse response)
        throws ServletException, IOException {
            response.setContentType("text/html");
            PrintWriter out = response.getWriter();
            out.println("<html><body><h1>Hello World</h1></body></html>");
    }
}

打包 Servlet 应用程序：将这个 Servlet 类打包成一个 .war 文件。可以使用 jar 命令或者任何 WAR 打包工具。




jar cvf hello.war HelloWorldServlet.class

部署应用程序：将生成的 hello.war 文件复制到 $CATALINA_HOME/webapps/ 目录。
启动或重启 Tomcat。
访问 Servlet：浏览器中访问 http://localhost:8080/hello，应该能看到 "Hello World" 的消息。

2024-09-02




import org.springframework.beans.factory.config.ConfigurableBeanFactory;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Scope;
 
@Configuration
public class BeanConfig {
 
    // 使用@Bean注解定义一个单例bean
    @Bean
    public MyBean myBean() {
        return new MyBean();
    }
 
    // 使用@Bean注解定义一个原型bean（每次请求都会创建新的bean实例）
    @Bean
    @Scope(ConfigurableBeanFactory.SCOPE_PROTOTYPE)
    public MyPrototypeBean myPrototypeBean() {
        return new MyPrototypeBean();
    }
 
    // 使用@Bean注解定义第三方库中的bean
    @Bean
    public ThirdPartyBean thirdPartyBean() {
        return new ThirdPartyBean();
    }
}
 
// 假设MyBean, MyPrototypeBean, ThirdPartyBean是已定义的类
class MyBean {
    // ...
}
 
class MyPrototypeBean {
    // ...
}
 
class ThirdPartyBean {
    // ...
}

这个代码示例展示了如何在Spring Boot项目中使用@Configuration类来定义和配置beans。其中，@Bean注解用于声明一个方法实例化、配置和初始化一个新对象，这个对象加入到Spring容器中。@Scope注解用于指定bean的作用域，例如原型作用域（prototype scope），这样每次请求都会创建一个新的bean实例。第三方库中的bean可以通过@Bean注解来声明并使用。

2024-09-02

解释：

这个异常Required request body is missing表明SpringBoot在处理POST请求时期望有请求体（request body），但是却没有接收到。这通常发生在客户端没有正确设置Content-Type头部或者没有发送任何数据体。

解决方法：

确保客户端在发送POST请求时，如果有请求体，已经正确设置了Content-Type头部。例如，如果发送JSON数据，应该设置为application/json。
确保客户端实际发送了数据。如果使用Postman、curl或其他API测试工具，检查是否填写了body部分并且选择了正确的Content-Type。
如果客户端已正确设置Content-Type且发送了数据，检查SpringBoot后端的@RequestBody注解是否正确使用在方法参数上。确保方法参数的类型与发送的数据结构匹配。
如果确认客户端已正确设置并发送了数据，但问题依旧存在，可以检查SpringBoot应用的全局配置，确认是否有拦截器或过滤器修改了请求，导致请求体被清除或者未能正确解析。

通过repmgr实现PostgreSql主从数据同步

2024-09-02

所有,数据库

在PostgreSQL中，可以使用流复制（Replication）来实现数据的同步。流复制是基于WAL（Write-Ahead Logging）的日志文件实现的。以下是使用repmgr工具来管理复制的基本步骤：

在主服务器上安装和配置repmgr。
初始化复制集群。
添加从服务器到集群。
监控复制状态。

以下是一个简化的示例，展示如何通过repmgr在PostgreSQL中设置主从同步：

安装repmgr




# 在主从服务器上安装repmgr
sudo apt-get install -y repmgr

配置主服务器




# 配置repmgr库和用户
psql -U postgres -c "CREATE DATABASE repmgr;"
psql -U postgres -c "GRANT ALL PRIVILEGES ON DATABASE repmgr TO repmgr;"
 
# 初始化repmgr
repmgr primary register -d 'dbname=repmgr user=repmgr host=master-host'

配置从服务器




# 注册从服务器到复制集群
repmgr primary register -d 'dbname=repmgr user=repmgr host=primary-host'

监控复制状态




# 查看复制集群状态
repmgr cluster show

这些命令提供了一个基本框架，实际部署时需要考虑更多的配置细节，如连接字符串、认证方法、网络配置等。repmgr提供了丰富的命令行选项和配置文件来管理复制集群。

【Spring篇】Spring入门案例

2024-09-02

Spring是一个开源应用框架，它的核心功能可以用来管理应用中的组件，这些组件被称为Beans。Spring入门案例通常涉及以下步骤：

创建一个Maven项目，并添加Spring依赖。
创建一个接口和实现类。
创建Spring配置文件，并配置Bean。
使用Spring的ApplicationContext获取Bean。

以下是一个简单的Spring入门案例：

步骤1：创建Maven项目并添加Spring依赖




<dependencies>
    <!-- Spring Core -->
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-core</artifactId>
        <version>5.3.20</version>
    </dependency>
    <!-- Spring Context -->
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-context</artifactId>
        <version>5.3.20</version>
    </dependency>
</dependencies>

步骤2：创建接口和实现类




public interface GreetingService {
    void sayHello(String name);
}
 
public class GreetingServiceImpl implements GreetingService {
    @Override
    public void sayHello(String name) {
        System.out.println("Hello, " + name + "!");
    }
}

步骤3：创建Spring配置文件

在 resources 目录下创建一个名为 applicationContext.xml 的Spring配置文件，并配置Bean：




<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
                           http://www.springframework.org/schema/beans/spring-beans.xsd">
 
    <bean id="greetingService" class="com.example.service.GreetingServiceImpl"/>
 
</beans>

步骤4：使用ApplicationContext获取Bean




import org.springframework.context.ApplicationContext;
import org.springframework.context.support.ClassPathXmlApplicationContext;
 
public class SpringExample {
    public static void main(String[] args) {
        ApplicationContext context = new ClassPathXmlApplicationContext("applicationContext.xml");
        GreetingService greetingService = (GreetingService) context.getBean("greetingService");
        greetingService.sayHello("World");
    }
}

运行 SpringExample 类的 main 方法，你会看到Spring容器启动，并调用 GreetingService 的 sayHello 方法。

postgresql之交叉表：crosstab

2024-09-02

所有,数据库

PostgreSQL中没有内置的crosstab函数，但是可以使用一些技巧来创建交叉表。一种常见的方法是使用cube和grouping sets结合动态SQL来实现。

以下是一个示例，假设我们有一个销售数据表sales，包含product_id、customer_id和amount字段，我们想要创建一个交叉表，列出每个产品每个客户的销售额：




DO $$
DECLARE
    row_sql TEXT;
    col_sql TEXT;
    sql TEXT;
BEGIN
    -- 获取列的SQL，即客户名称
    col_sql := SELECT string_agg(DISTINCT quote_ident(customer_name), ', ')
              FROM customers;
 
    -- 获取行的SQL，即产品名称
    row_sql := SELECT string_agg(DISTINCT quote_ident(product_name), ', ')
              FROM products;
 
    -- 构建主查询，使用GROUPING SETS进行交叉汇总
    sql := format(
        'SELECT coalesce(product_name, ''Total'') AS product_name, %1$s
         FROM (
             SELECT product_name, customer_name, sum(amount) AS amount
             FROM sales
             JOIN products ON sales.product_id = products.id
             JOIN customers ON sales.customer_id = customers.id
             GROUP BY product_name, customer_name
             WITH GROUPING SETS ( (product_name, customer_name), (product_name), () )
         ) AS subquery
         ORDER BY product_name, customer_name',
        col_sql
    );
 
    -- 执行动态SQL
    EXECUTE sql;
END $$;

这段代码使用了DO块来执行一个匿名函数，这个函数构建了动态SQL来创建交叉表，然后使用EXECUTE来运行这个SQL。GROUPING SETS用于生成所有可能的行和列组合，并且使用coalesce来处理总计行。

请注意，这个例子假设products和customers表已经存在，并且sales表有product_id和customer_id字段来关联这些表。实际使用时，你需要根据自己数据库的实际情况调整表名和字段名。

注册Redisson时失败，报port out of range:-1

2024-09-02

所有,redis

报错解释：

报错信息 "port out of range:-1" 表示尝试配置Redisson客户端时，指定的端口号-1超出了有效的端口范围。端口号通常是一个介于0到65535之间的整数值。

解决方法：

检查Redisson的配置信息，确保指定的端口号是正确的，并且在有效范围内。
如果是在代码中配置Redisson，确保传递给Redisson的构造器的端口号是正确的。
如果是在配置文件（如application.yml或application.properties）中配置Redisson，检查并修正端口号。
如果端口号是从其他地方（如环境变量）读取，确保相关的值是正确设置的。

示例：如果你使用的是Redis的默认端口6379，确保配置中的端口号是6379而不是-1。