Tech Blog

2024-09-03

Redis 底层数据结构主要包括：

字符串(String)
字典(Hash)
链表(LinkedList)
跳跃表(SkipList)
哈希表(HashTable)
快速列表(QuickList)
整数集合(IntSet)
压缩列表(ZipList)

Redis 使用这些数据结构来实现键值对数据库。具体使用哪种数据结构由键值对的数据类型和数据规模决定。

例如，当你使用 Redis 存储字符串类型的数据时，Redis 会使用简单动态字符串(Simple Dynamic String, SDS)作为底层实现。




// Redis 中 SDS 的结构体定义
struct sdshdr {
    int len; // 记录buf中已使用的字节数
    int free; // 记录buf中未使用的字节数
    char buf[]; // 字节数组，用于保存字符串
};

当你使用 Redis 存储列表类型的数据时，Redis 会使用快速列表作为底层实现。




// Redis 中快速列表的结构体定义
struct quicklist {
    quicklistNode *head; // 列表的头部节点
    quicklistNode *tail; // 列表的尾部节点
    long count; // 列表中元素的数量
    int nodes; // 快速列表中节点的数量
    int compressDepth; // 压缩深度
    // 其他字段
};
 
// 快速列表节点的结构体定义
struct quicklistNode {
    struct quicklistNode *prev; // 前一个节点
    struct quicklistNode *next; // 下一个节点
    unsigned char *zl; // 压缩列表的指针
    unsigned int sz; // 压缩列表的大小
    int count; // 压缩列表中的元素数量
    int encoding; // 节点的编码方式
    // 其他字段
};

这些代码仅为示例，实际的 Redis 源码会更加复杂，并包含内存管理、线程安全等多种考虑因素。

System

2024-09-03

所有,java

要在Docker中部署离线版Nginx、Tomcat和Mariadb镜像容器，您需要首先将镜像文件传输到目标机器，然后使用Docker加载这些镜像并运行容器。以下是步骤和示例代码：

将Nginx、Tomcat和Mariadb的Docker镜像文件传输到离线服务器。
使用Docker加载这些镜像。
运行Nginx、Tomcat和Mariadb容器。

以下是示例步骤：

从有网络的机器上导出Docker镜像为文件：




docker save -o nginx_image.tar nginx:latest
docker save -o tomcat_image.tar tomcat:latest
docker save -o mariadb_image.tar mariadb:latest

将这些镜像文件传输到离线服务器（使用USB驱动器、SCP、FTP等）。
在离线服务器上，加载这些镜像文件：




docker load -i nginx_image.tar
docker load -i tomcat_image.tar
docker load -i mariadb_image.tar

运行Nginx容器：




docker run --name nginx-container -p 80:80 -d nginx:latest

运行Tomcat容器：




docker run --name tomcat-container -p 8080:8080 -d tomcat:latest

运行Mariadb容器：




docker run --name mariadb-container -e MYSQL_ROOT_PASSWORD=my-secret-pw -p 3306:3306 -d mariadb:latest

请注意，您需要根据您的需求修改端口映射和环境变量。这些命令假设您已经将Nginx、Tomcat和MariaDB的镜像文件传输到了离线服务器，并且Docker已经安装在该服务器上。

- 阅读更多 -

qml使用SQLite时查询SQLite的版本号

System

2024-09-03

所有,数据库

在QML中，你可以使用Qt.queryQmlRegisterType函数来查询SQLite的版本号。以下是一个简单的示例代码：




import QtQuick 2.0
 
Item {
    Component.onCompleted: {
        var db = Qt.openDatabase(":memory:", "QML", "", "");
        db.transaction(function(tx) {
            tx.executeSql('SELECT SQLITE_VERSION() AS version', [], function(tx, result) {
                console.log("SQLite version: " + result.rows.item(0).version);
            });
        });
    }
}

在这个示例中，我们首先打开了一个内存中的SQLite数据库。然后，在一个事务中，我们执行了一个查询来获取SQLite的版本号。查询结果通过回调函数返回，我们打印出版本号。

- 阅读更多 -

linux 磁盘满了，程序运行失败，如何处理？df -h

System

2024-09-03

所有,数据库

报错解释：

Linux系统中提示磁盘满了，意味着文件系统的可用空间不足，无法创建新的文件或写入数据。这可能导致正在运行的程序无法正常写入数据到磁盘，从而运行失败。

解决方法：

清理临时文件：
```
sudo rm -rf /tmp/*
```
查找并删除不需要的大文件或日志：
```
sudo find / -type f -size +100M -delete
```
压缩文件或目录：
- 使用 tar 压缩旧的日志或不再需要的文件。
- 使用 gzip 或 bzip2 压缩大的文件。

检查并清理内存缓存：




sudo sync; sudo echo 1 > /proc/sys/vm/drop_caches

检查磁盘空间占用的详细情况，可以使用 du 或 ncdu 等工具。
如果磁盘空间确实不足，可能需要添加更多磁盘空间或者考虑升级硬件。
如果是程序导致的磁盘占用异常，检查程序对磁盘的使用情况，优化程序的文件操作。
定期监控磁盘空间，设置警报，以防止未来发生同样的问题。

- 阅读更多 -

SpringMVC 请求参数接收

System

2024-09-03

所有,java

在Spring MVC中，可以通过以下方式接收请求参数：

直接在控制器方法的参数中声明：Spring MVC会自动将请求参数绑定到相应的方法参数。




@RequestMapping(value = "/somePath", method = RequestMethod.GET)
public String someHandlerMethod(
    @RequestParam(value = "paramName", required = false, defaultValue = "default") String param) {
    // 使用param
    return "viewName";
}

使用@ModelAttribute：可以将请求参数绑定到一个JavaBean对象。




@RequestMapping(value = "/somePath", method = RequestMethod.GET)
public String someHandlerMethod(@ModelAttribute MyBean bean) {
    // 使用bean中的属性
    return "viewName";
}
 
public class MyBean {
    private String paramName;
    // getters and setters
}

使用HttpServletRequest：可以直接访问请求对象获取参数。




@RequestMapping(value = "/somePath", method = RequestMethod.GET)
public String someHandlerMethod(HttpServletRequest request) {
    String param = request.getParameter("paramName");
    // 使用param
    return "viewName";
}

使用@RequestBody：接收JSON或XML等格式的请求体。




@RequestMapping(value = "/somePath", method = RequestMethod.POST)
public String someHandlerMethod(@RequestBody MyBean bean) {
    // 使用bean中的属性
    return "viewName";
}

使用@PathVariable：用于接收URL中的参数。




@RequestMapping(value = "/somePath/{paramName}", method = RequestMethod.GET)
public String someHandlerMethod(@PathVariable("paramName") String param) {
    // 使用param
    return "viewName";
}

以上是Spring MVC中接收请求参数的一些常用方法，开发者可以根据具体需求选择合适的方式来接收请求参数。

System

2024-09-03

所有,java

在Linux环境下，使用Tomcat作为服务器来部署Vue项目的步骤如下：

构建Vue项目：
在Vue项目的根目录下，执行构建命令：
```
npm run build
```
这将创建一个dist/目录，里面包含构建后的文件。
准备Tomcat：
下载并安装Tomcat。
将构建好的文件复制到Tomcat的webapps目录下：
```
cp -r dist/* /path/to/tomcat/webapps/ROOT/
```
这里假设你的Tomcat安装在/path/to/tomcat，dist/目录包含了Vue项目的静态文件。
配置Tomcat：
如果需要，可以在conf/server.xml中配置Context，例如：
```
<Context path="" docBase="/path/to/tomcat/webapps/ROOT" />
```
这样可以通过IP直接访问项目，而不需要指定项目的路径。
启动Tomcat：
```
/path/to/tomcat/bin/startup.sh
```
访问Tomcat服务器IP和端口，你的Vue项目应该可以访问了。

(2) 使用Nginx作为代理服务器进行部署：

构建Vue项目：
```
npm run build
```
配置Nginx：
编辑Nginx配置文件（通常位于/etc/nginx/nginx.conf或者/etc/nginx/sites-available/目录下的某个文件），添加一个server块：
```
server {
    listen 80;
    server_name your_domain_or_IP;
 
    location / {
        root /path/to/dist;
        index index.html;
        try_files $uri $uri/ /index.html;
    }
}
```
把your_domain_or_IP替换为你的域名或者IP地址，/path/to/dist替换为你的构建文件dist目录的绝对路径。

重启Nginx：




sudo service nginx restart

或者




sudo systemctl restart nginx

访问你的服务器IP或域名，你的Vue项目应该可以访问了。

这两种方式都可以部署Vue项目，选择哪一种取决于你的具体需求和环境配置。如果你需要更多的灵活性和控制，比如说后端服务的集成，可能会选择Nginx作为代理。如果你的后端服务是基于Java的，并且需要与Tomcat集成，那么Tomcat可能是更好的选择。

- 阅读更多 -

logback-spring.xml 的配置及详解（直接复制粘贴可用）

System

2024-09-03

所有,java




<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <!-- 定义日志文件的存储地址 -->
    <property name="LOGS" value="./logs" />
 
    <!-- 控制台日志输出格式 -->
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss} - %msg%n</pattern>
        </encoder>
    </appender>
 
    <!-- 系统日志输出级别 -->
    <root level="info">
        <appender-ref ref="STDOUT" />
    </root>
 
    <!-- 指定具体包或模块的日志输出级别与路径 -->
    <logger name="com.example.demo" level="debug" additivity="false">
        <appender-ref ref="STDOUT" />
        <!-- 同时写入文件 -->
        <appender-ref ref="FILE" />
    </logger>
 
    <!-- 文件日志输出格式 -->
    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${LOGS}/myapp.log</file>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 日志文件回滚策略 -->
            <fileNamePattern>${LOGS}/archived/myapp-%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
                <maxFileSize>100MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
        </rollingPolicy>
    </appender>
</configuration>

这个配置文件定义了日志的存储地址、控制台和文件的输出格式，以及日志滚动的策略。它设定了根日志级别为info，针对com.example.demo包的日志级别为debug，并且同时输出到控制台和文件。文件按日期和大小滚动，每个日志文件最大为100MB。这个配置适用于Spring Boot项目，并且是一个很好的实践样例。

System

2024-09-03

所有,数据库

在Spring Boot中，将_geometry数据转换并存储到MySQL和PostgreSQL数据库中，会涉及到数据类型转换和特定扩展的处理，例如MySQL的TOAST和PostgreSQL的TOAST以及PostGIS扩展。

对于MySQL，你需要确保你的表使用了支持Geometry类型的存储引擎，如InnoDB，并且你需要使用MySQL的GIS扩展。

对于PostgreSQL，你需要使用PostGIS扩展，它为PostgreSQL提供对地理空间数据的支持。

以下是一个简化的例子，演示如何在Spring Boot应用中处理这些转换：




import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.jdbc.core.JdbcTemplate;
import org.springframework.stereotype.Service;
import com.vividsolutions.jts.geom.Geometry;
 
@Service
public class SpatialDataService {
 
    @Autowired
    private JdbcTemplate jdbcTemplate;
 
    public void storeGeometry(String tableName, int id, Geometry geometry) {
        // 对于MySQL，使用相应的函数将Geometry对象转换为WKB格式
        byte[] wkbRepresentation = geometry.toByteArray();
        String query = "INSERT INTO " + tableName + " (id, geometry) VALUES (?, ?)";
        jdbcTemplate.update(query, id, wkbRepresentation);
 
        // 对于PostgreSQL，使用PostGIS的ST_GeomFromWKB函数
        // 假设geometry列的类型是geometry
        String pgQuery = "INSERT INTO " + tableName + " (id, geometry) VALUES (?, ST_GeomFromWKB(?, 4326))";
        jdbcTemplate.update(pgQuery, id, wkbRepresentation);
    }
}

在这个例子中，我们使用了JdbcTemplate来执行SQL语句。geometry.toByteArray()方法将Geometry对象转换为WKB（Well-Known Binary）格式，这是MySQL中存储Geometry数据的标准方法。对于PostgreSQL，我们使用了ST_GeomFromWKB函数来将WKB转换为PostGIS可以理解的Geometry类型。

确保你的数据库表已经创建好，并且对于MySQL，使用了支持Geometry类型的存储引擎，同时对于PostgreSQL，确保启用了PostGIS扩展。

注意：这只是一个简化的例子，实际应用中你可能需要处理更多的细节，例如错误处理、事务管理等。

- 阅读更多 -

Redis数据结构之RedisObject

System

2024-09-03

所有,redis

RedisObject是Redis中的一个基本数据结构，它是Redis中所有数据类型（字符串、列表、集合、哈希表和有序集合）的底层实现。RedisObject主要由type、encoding、ptr等属性组成。

解决方案：

创建RedisObject对象




// 创建一个字符串类型的RedisObject
robj *createStringObject(char *ptr, size_t len) {
    // 分配并初始化一个新的RedisObject
    robj *o = zmalloc(sizeof(robj));
    o->type = REDIS_STRING;
    o->encoding = REDIS_ENCODING_RAW;
    o->ptr = zmalloc(len+1);
    memcpy(o->ptr,ptr,len);
    o->ptr[len] = '\0';
    return o;
}

释放RedisObject对象




// 释放一个RedisObject
void freeObject(robj *obj) {
    switch(obj->encoding) {
        // 根据不同的编码方式释放内存
        case REDIS_ENCODING_RAW:
            sdsfree(obj->ptr);
            break;
        case REDIS_ENCODING_HT:
            dictRelease((dict*)obj->ptr);
            break;
        case REDIS_ENCODING_LINKEDLIST:
            listRelease((list*)obj->ptr);
            break;
        // 其他编码方式...
    }
    zfree(obj);
}

复制RedisObject对象




// 复制一个RedisObject
robj *duplicateObject(robj *obj) {
    robj *newobj;
    // 根据不同的类型复制
    if (obj->type == REDIS_STRING) {
        newobj = createStringObject(obj->ptr,sdslen(obj->ptr));
    } else if (obj->type == REDIS_LIST) {
        newobj = createListObject();
        listCopy((list*)newobj->ptr, (list*)obj->ptr);
    } else {
        // 其他类型...
    }
    newobj->encoding = obj->encoding;
    return newobj;
}

输出RedisObject对象




// 输出一个RedisObject
void printObject(robj *obj) {
    if (obj->type == REDIS_STRING) {
        printf("REDIS_STRING: %s\n", (char*)obj->ptr);
    } else if (obj->type == REDIS_LIST) {
        listIter li;
        listNode *ln;
        printf("REDIS_LIST: ");
        listRewind(obj->ptr,&li);
        while((ln = listNext(&li))) {
            printObject((robj*)listNodeValue(ln));
        }
        printf("\n");
    } else {
        // 其他类型...
    }
}

以上代码仅为示例，实际的Redis源码中会有更多关于RedisObject的操作，包括内存分配、字符串操作等。

- 阅读更多 -

MongoDB聚合运算符：$atan2

System

2024-09-03

所有,数据库

$atan2是MongoDB的聚合操作符，用于计算y/x的反正切值。这个操作符需要两个参数，分别代表y和x。

以下是一些使用$atan2的方法：

基本使用方法：




db.collection.aggregate([
  {
    $project: {
      atanValue: {
        $atan2: [ 1, 1 ]
      }
    }
  }
])

在这个例子中，$atan2操作符被用来计算1/1的反正切值，结果是45度（π/4弧度）。

使用字段作为参数：




db.collection.aggregate([
  {
    $project: {
      atanValue: {
        $atan2: [ "$yField", "$xField" ]
      }
    }
  }
])

在这个例子中，$atan2操作符被用来计算yField字段值和xField字段值的反正切值。

使用$add和$multiply：




db.collection.aggregate([
  {
    $project: {
      atanValue: {
        $atan2: [
          { $add: ["$yField", "$additionalYValue"] },
          { $multiply: ["$xField", "$multiplierXValue"] }
        ]
      }
    }
  }
])

在这个例子中，$atan2操作符被用来计算yField字段值加上additionalYValue字段值和xField字段值乘以multiplierXValue字段值的反正切值。

注意：在使用$atan2时，如果y为0，x为0，则操作符会抛出一个错误，因为这将导致定义明确的分数0/0。如果可能出现这种情况，你应该在使用$atan2之前使用逻辑操作符（如$cond）来处理这种特殊情况。

- 阅读更多 -