分类后端技术下的文章

2024-09-03

Redis分片集群通常是为了数据分布和负载均衡。Redis Cluster是Redis官方提供的分片解决方案。以下是一个简单的Redis分片集群的配置示例：

假设你有6个Redis节点，分别运行在不同的端口上，用于构建一个6分片的集群。
配置每个Redis节点的redis.conf文件，启用集群模式并指定不同的端口：




port 7000
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

启动这6个Redis实例。
使用redis-cli工具创建集群：




redis-cli --cluster create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 --cluster-replicas 1

这个命令会创建一个具有6个主分片和相应的副本的集群。--cluster-replicas 1参数指定每个主分片的副本数为1。

连接到集群：




redis-cli -c -h 127.0.0.1 -p 7000

使用-c选项告诉redis-cli这是一个集群。

以上步骤构建了一个基本的Redis分片集群，实际部署时可能需要考虑更多的配置选项，如数据持久化、安全性、负载均衡策略等。

- 阅读更多 -

PgSQL的登录相关（Ubuntu22.04）

System

2024-09-03

所有,数据库

在Ubuntu 22.04上，如果您已经安装了PostgreSQL，并想要设置登录，您可以按照以下步骤操作：

打开终端。
切换到postgres用户（这是PostgreSQL的默认超级用户）：
```
sudo -i -u postgres
```
登录到PostgreSQL命令行界面：
```
psql
```
如果您需要为postgres用户设置密码，可以使用以下SQL命令：
```
\password postgres
```
输入并确认新密码。
如果您需要创建新用户并分配权限，可以使用以下命令：
```
CREATE ROLE myuser WITH LOGIN PASSWORD 'mypassword';
```
为新用户分配数据库：
```
CREATE DATABASE mydb OWNER myuser;
```

为新用户授权连接和操作数据库的权限：




GRANT ALL PRIVILEGES ON DATABASE mydb TO myuser;

退出psql：
```
\q
```
退出postgres用户：
```
exit
```

以上步骤提供了设置PostgreSQL登录的基本流程。如果您已经有了特定的用户和数据库，您可以跳过创建新用户和数据库的步骤，直接授权。记得替换myuser和mypassword为您想要设置的用户名和密码。

- 阅读更多 -

00-PostgreSQL的安装

System

2024-09-03

所有,数据库

在Linux系统中安装PostgreSQL的步骤可能会根据不同的Linux发行版而有所不同。以下是一个基于Debian/Ubuntu系统的安装示例：

更新系统的包索引：




sudo apt update

安装PostgreSQL：




sudo apt install postgresql postgresql-contrib

启动PostgreSQL服务：




sudo systemctl start postgresql

确保PostgreSQL随系统启动：




sudo systemctl enable postgresql

切换到PostgreSQL用户（默认为postgres）：




sudo -i -u postgres

创建一个新的角色（可选）：




createuser --interactive

创建一个新的数据库（可选）：




createdb <your_database_name>

登录到PostgreSQL命令行界面：




psql

以上步骤将安装PostgreSQL，启动服务，添加系统启动项，创建一个新的用户和数据库（如需要），并允许你通过交互式终端登录到PostgreSQL。

对于其他Linux发行版，比如Red Hat/CentOS，步骤可能会略有不同，但大体相似。具体步骤可以参考对应Linux发行版的官方文档或社区指南。

- 阅读更多 -

DataX-数据迁移Oracle到Mysql-ETL工具

System

2024-09-03

所有,数据库

DataX 是一款由阿里巴巴开源的大数据同步工具，主要用于在各种异构数据源间高效地完成数据的同步工作。以下是使用 DataX 进行 Oracle 到 MySQL 数据同步的配置示例：

安装 DataX

首先需要在你的机器上安装 DataX，具体安装步骤可以参考 DataX 的官方文档。

配置 JSON 文件

在 DataX 的安装目录下创建一个 JSON 配置文件，例如 oracle2mysql.json，内容如下：




{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "oraclereader",
                    "parameter": {
                        "username": "your_oracle_username",
                        "password": "your_oracle_password",
                        "column": ["id", "name", "age"],
                        "splitPk": "id",
                        "connection": [
                            {
                                "querySql": [
                                    "select id, name, age from your_oracle_table"
                                ],
                                "jdbcUrl": "jdbc:oracle:thin:@//host:port/SID"
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "username": "your_mysql_username",
                        "password": "your_mysql_password",
                        "writeMode": "insert",
                        "column": ["id", "name", "age"],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://your_mysql_host:port/your_mysql_database",
                                "table": ["your_mysql_table"]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

请将上述配置文件中的数据库连接信息、用户名、密码、表名等信息替换为你自己的实际信息。

运行 DataX

在命令行中运行 DataX，指定你的 JSON 配置文件：




python /path/to/datax/bin/datax.py /path/to/your/oracle2mysql.json

DataX 会根据你的配置文件，从 Oracle 数据源读取数据，然后写入到 MySQL 数据源中。这个过程是批量的，可以设置合适的速度来避免对数据库造成太大压力。

- 阅读更多 -

Redis笔记——底层数据结构之压缩列表

System

2024-09-03

所有,redis




#include <stdio.h>
#include <stdlib.h>
#include <string.h>
 
/* 假设的 ziplist.h 头文件 */
typedef struct ziplist {
    // 实现细节省略...
} ziplist;
 
/* 假设的 ziplist.c 源文件 */
ziplist *ziplistNew(void) {
    // 实现细节省略...
    return NULL;
}
 
void ziplistFree(ziplist *zl) {
    // 实现细节省略...
}
 
unsigned int ziplistLen(const ziplist *zl) {
    // 实现细节省略...
    return 0;
}
 
int ziplistPush(ziplist *zl, unsigned char *s, unsigned int slen, int where) {
    // 实现细节省略...
    return 0;
}
 
char *ziplistIndex(ziplist *zl, int index) {
    // 实现细节省略...
    return NULL;
}
 
/* 示例使用压缩列表的函数 */
int main() {
    ziplist *myziplist = ziplistNew();
    char *value = "Hello, World!";
 
    // 将字符串推入压缩列表的末尾
    ziplistPush(myziplist, (unsigned char *)value, strlen(value), ZIPLIST_TAIL);
 
    // 将字符串推入压缩列表的开头
    ziplistPush(myziplist, (unsigned char *)value, strlen(value), ZIPLIST_HEAD);
 
    // 获取压缩列表指定位置的字符串值
    unsigned int len = ziplistLen(myziplist);
    for (int i = 0; i < len; i++) {
        char *entry = ziplistIndex(myziplist, i);
        printf("Entry #%d: %s\n", i, entry);
    }
 
    // 释放压缩列表
    ziplistFree(myziplist);
 
    return 0;
}

这个示例代码展示了如何创建一个新的压缩列表，向列表中添加数据（尾部和头部），获取列表中的元素，以及释放列表资源。注意，这只是一个示例，实际的实现细节需要根据Redis的源代码来编写。

- 阅读更多 -

高级DBA带你解决达梦8数据库解决列名涉及达梦关键字无法执行问题全网唯一

System

2024-09-03

所有,数据库

解释：

达梦数据库是一款国产数据库，关键字是指在SQL语言中有特殊含义的词，比如SELECT、UPDATE、CREATE等。如果在创建表或执行SQL语句时使用了与关键字相同的名称，数据库会认为这是一个关键字，可能会导致SQL语句解析错误或执行失败。

解决方法：

创建表或列名时，应避免使用达梦数据库的关键字。
如果确实需要使用关键字作为列名，可以使用双引号（""）将关键字名包围起来，例如："select"。
确保在使用双引号时，大小写匹配，因为达梦数据库中的关键字通常是大写的。

示例：

假设要创建一个表，其中包含一个名为SELECT的列，正确的SQL语句应该是：




CREATE TABLE my_table (
    id INT,
    "SELECT" VARCHAR(100) -- 使用双引号包围关键字
);

在实际操作中，应当避免使用关键字作为列名，以免产生混淆和潜在的错误。如果不得不使用，必须使用正确的大小写和双引号来确保SQL语句的正确执行。

- 阅读更多 -

高级DBA带你学习海量数据的Mysql数据库实现按日期增量备份实战案例全网唯一

System

2024-09-03

所有,数据库




-- 创建存储过程，实现按日期进行增量备份
DELIMITER $$
 
CREATE PROCEDURE IncrementalBackupByDate(IN backupDate DATE)
BEGIN
    -- 定义变量，存储备份路径和备份文件名
    SET @backupPath = CONCAT('/backup/', DATE_FORMAT(backupDate, '%Y%m%d'), '/');
    SET @backupFileName = CONCAT('dbname_', DATE_FORMAT(backupDate, '%Y%m%d%H%i%s'), '.ibd');
 
    -- 检查备份路径是否存在，不存在则创建
    PREPARE stmt FROM 'SELECT IF(COUNT(*) = 1, 1, 0) FROM mysql.proc WHERE db = ? AND name = ?';
    EXECUTE stmt USING 'mysql', 'CreateBackupDirectory';
    DEALLOCATE PREPARE stmt;
 
    -- 创建备份目录
    IF NOT EXISTS(SELECT 1) THEN
        SET @createDirCmd = CONCAT('!mkdir -p ', @backupPath);
        PREPARE createDir FROM @createDirCmd;
        EXECUTE createDir;
        DEALLOCATE PREPARE createDir;
    END IF;
 
    -- 备份指定日期的数据
    PREPARE stmt FROM 'SELECT CONCAT("mysqldump --single-transaction --databases dbname --tables table1 --where="\'"\'"\'", " AND date_column >= ? AND date_column < DATE_ADD(?, INTERVAL 1 DAY) "\'"\'"\'", " | gzip > ", ?) INTO @backupCmd') INTO @backupCmd;
    EXECUTE stmt USING backupDate, backupDate, CONCAT(@backupPath, @backupFileName, '.gz');
    DEALLOCATE PREPARE stmt;
 
    -- 执行备份命令
    PREPARE backup FROM @backupCmd;
    EXECUTE backup;
    DEALLOCATE PREPARE backup;
END$$
 
DELIMITER ;

这段代码首先定义了一个存储过程IncrementalBackupByDate，它接收一个日期参数backupDate，然后根据这个日期参数创建一个备份任务，备份指定表中在该日期的数据。备份过程中，它会检查备份目录是否存在，不存在则创建，并且构建备份命令，最后执行备份命令完成数据备份。这个实践展示了如何结合MySQL的存储过程和外部命令执行备份操作，是数据库管理和备份恢复的一个实际应用案例。

System

2024-09-03

所有,java

报错信息提示SpringBoot集成Swagger2时，启动失败，并指向documentationPlugins这个Bean的创建失败，导致了空指针异常。

解决方法：

确认Swagger2的依赖是否已经正确添加到项目的pom.xml或build.gradle文件中。

对于Maven项目，添加如下依赖：




<dependency>
    <groupId>io.springfox</groupId>
    <artifactId>springfox-swagger2</artifactId>
    <version>你的版本号</version>
</dependency>
<dependency>
    <groupId>io.springfox</groupId>
    <artifactId>springfox-swagger-ui</artifactId>
    <version>你的版本号</version>
</dependency>

对于Gradle项目，添加如下依赖：




implementation 'io.springfox:springfox-swagger2:你的版本号'
implementation 'io.springfox:springfox-swagger-ui:你的版本号'

确认Swagger2的配置类是否配置正确。




@Configuration
@EnableSwagger2
public class SwaggerConfig {
    // ... 配置内容
}

检查Swagger配置内部是否有错误配置，例如扫描的包路径不正确、API信息未设置等。
如果使用了Spring profiles，确保Swagger配置类被正确的profile注解所标记。
如果项目中有多个SpringBoot配置文件，确保Swagger配置在了正确的配置文件中。
清理并重新构建项目，有时候IDE的缓存问题也会导致SpringBoot启动时无法正确加载Bean。
查看启动日志的详细错误信息，以确定是哪一部分配置导致了Bean创建失败，并进行相应的修正。

如果以上步骤都无法解决问题，可以考虑搜索具体的错误信息，或者在Stack Overflow等社区寻求帮助。

- 阅读更多 -

在centOS7上安装postgresql

System

2024-09-03

所有,数据库

在CentOS 7上安装PostgreSQL可以通过以下步骤进行：

添加PostgreSQL的官方Yum仓库：




sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm

清除Yum缓存：




sudo yum clean all

安装PostgreSQL：




sudo yum install -y postgresql12-server postgresql12

初始化数据库：




sudo /usr/pgsql-12/bin/postgresql-12-setup initdb

启动PostgreSQL服务：




sudo systemctl enable postgresql-12
sudo systemctl start postgresql-12

确认PostgreSQL服务状态：




sudo systemctl status postgresql-12

登录到PostgreSQL：




sudo -i -u postgres
psql

以上步骤会安装PostgreSQL 12版本。如果需要其他版本，请替换相应的版本号。

System

2024-09-03

所有,java

以下是使用Spring Cloud搭建Eureka注册中心，并实现服务提供者和消费者的简化示例代码：

Eureka Server 注册中心:




@EnableEurekaServer
@SpringBootApplication
public class EurekaServerApplication {
    public static void main(String[] args) {
        SpringApplication.run(EurekaServerApplication.class, args);
    }
}

application.yml:




server:
  port: 8761
 
eureka:
  instance:
    hostname: localhost
  client:
    registerWithEureka: false
    fetchRegistry: false
    serviceUrl:
      defaultZone: http://${eureka.instance.hostname}:${server.port}/eureka/

服务提供者:




@EnableEurekaClient
@SpringBootApplication
public class ProviderApplication {
    public static void main(String[] args) {
        SpringApplication.run(ProviderApplication.class, args);
    }
}

application.yml:




spring:
  application:
    name: provider-service
server:
  port: 8080
 
eureka:
  client:
    serviceUrl:
      defaultZone: http://localhost:8761/eureka/

服务消费者:




@EnableEurekaClient
@SpringBootApplication
public class ConsumerApplication {
    public static void main(String[] args) {
        SpringApplication.run(ConsumerApplication.class, args);
    }
}

application.yml:




spring:
  application:
    name: consumer-service
server:
  port: 8081
 
eureka:
  client:
    serviceUrl:
      defaultZone: http://localhost:8761/eureka/

在这个例子中，我们创建了一个Eureka Server和一个服务提供者与一个服务消费者。服务提供者注册到Eureka Server并定期心跳，消费者通过Eureka Server获取服务列表，并通过Spring Cloud的负载均衡器进行调用。这个简化的例子展示了服务注册与发现的基本流程。

- 阅读更多 -