分类所有下的文章

2024-09-04

Redis 的 Set 是一种数据类型，它以无序的方式存储多个字符串元素，并保证每个元素都是唯一的。Redis 的 Set 是不允许有重复元素的。

以下是一些使用 Redis Set 的常见操作：

添加元素到 Set

import redis

r = redis.Redis(host='localhost', port=6379, db=0)
r.sadd('myset', 'hello')
r.sadd('myset', 'world')
r.sadd('myset', 'world')  # 再次添加 'world'，由于 Set 中已经存在，所以不会添加

获取 Set 中的所有元素

print(r.smembers('myset'))  # 输出：{b'world', b'hello'}

检查元素是否在 Set 中

print(r.sismember('myset', 'hello'))  # 输出：True
print(r.sismember('myset', 'foo'))  # 输出：False

删除 Set 中的元素

r.srem('myset', 'hello')

获取 Set 的长度

print(r.scard('myset'))  # 输出：1

求两个 Set 的交集

r.sadd('myset2', 'hello')
print(r.sinter('myset', 'myset2'))  # 输出：{b'hello'}

求两个 Set 的并集

print(r.sunion('myset', 'myset2'))  # 输出：{b'world', b'hello'}

求两个 Set 的差集

print(r.sdiff('myset', 'myset2'))  # 输出：{b'world'}

随机从 Set 中取出元素

print(r.spop('myset'))  # 输出：b'world'

使用 Set 进行交集、并集、差集的操作并存储结果到一个新的 Set 中

r.sadd('myset2', 'foo')
r.sadd('myset2', 'bar')

# 求交集并存储到 newset
r.sinterstore('newset', 'myset', 'myset2')
print(r.smembers('newset'))  # 输出：{b'hello'}

# 求并集并存储到 newset
r.sunionstore('newset', 'myset', 'myset2')
print(r.smembers('newset'))  # 输出：{b'world', b'hello', b'foo', b'bar'}

# 求差集并存储到 newset
r.sdiffstore('newset', 'myset', 'myset2')
print(r.smembers('newset'))  # 输出：{b'world'}

以上就是 Redis Set 的一些基本操作，在 Python 中使用 Redis 库进行操作。

System

2024-09-04

所有,java

在Spring Boot中，Filter和Interceptor是用于处理web请求的两种不同机制。

Filter：

Filter是基于Servlet的技术，它可以拦截所有的HTTP请求和响应。
Filter可以在请求处理之前或之后执行操作。
使用Filter可以进行权限校验、编码转换、流的处理等。

Interceptor：

Interceptor是Spring框架提供的，它可以拦截Controller的请求。
Interceptor可以在请求处理之前、之中、之后以及完成后执行操作。
使用Interceptor可以进行日志记录、参数校验、权限校验等。

以下是一个简单的Filter和Interceptor的实现示例：

// Filter 示例
@Component
public class MyFilter implements Filter {
    @Override
    public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException {
        // 在请求处理前执行
        HttpServletRequest req = (HttpServletRequest) request;
        System.out.println("Filter: Before request, URI=" + req.getRequestURI());

        // 继续执行链中的下一个Filter或目标资源
        chain.doFilter(request, response);

        // 在请求处理后执行
        System.out.println("Filter: After request, status=" + ((HttpServletResponse) response).getStatus());
    }
}

// Interceptor 示例
@Component
public class MyInterceptor implements HandlerInterceptor {
    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
        // 在请求处理前执行
        System.out.println("Interceptor: Before request, URI=" + request.getRequestURI());
        return true; // 继续执行请求处理
    }

    @Override
    public void postHandle(HttpServletRequest request, HttpServletResponse response, Object handler, ModelAndView modelAndView) throws Exception {
        // 在请求处理中（视图渲染之前）执行
    }

    @Override
    public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex) throws Exception {
        // 在请求处理完成后执行
        System.out.println("Interceptor: After completion, URI=" + request.getRequestURI());
    }
}

在Spring Boot的配置中添加Filter和Interceptor的注册代码：

@Configuration
public class WebConfig implements WebMvcConfigurer {

    @Autowired
    private MyFilter myFilter;

    @Autowired
    private MyInterceptor myInterceptor;

    @Override
    public void addInterceptors(InterceptorRegistry registry) {
        registry.addInterceptor(myInterceptor)
                .addPathPatterns("/**"); // 拦截所有路径
    }

    @Bean
    public FilterRegistrationBea

- 阅读更多 -

Spring Cloud Gateway基本配置

System

2024-09-04

所有,java

import org.springframework.cloud.gateway.route.RouteLocator;
import org.springframework.cloud.gateway.route.builder.RouteLocatorBuilder;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class GatewayConfig {

    @Bean
    public RouteLocator customRouteLocator(RouteLocatorBuilder builder) {
        return builder.routes()
                .route("path_route", r -> r.path("/get")
                        .uri("http://httpbin.org"))
                .route("host_route", r -> r.host("*.myhost.org")
                        .uri("http://httpbin.org"))
                .route("rewrite_route", r -> r.host("*.rewrite.org")
                        .filters(f -> f.rewritePath("/foo/(?<segment>.*)", "/${segment}"))
                        .uri("http://httpbin.org"))
                .route("hystrix_route", r -> r.host("*.hystrix.org")
                        .filters(f -> f.hystrix(config -> config
                                .setName("hystrix_test")
                                .setFallbackUri("forward:/hystrixFallback")))
                        .uri("http://httpbin.org"))
                .build();
    }
}

这个配置类定义了几种不同类型的路由规则，包括基于路径的匹配、基于主机名的匹配、路径重写以及带有断路器模式的路由。这些配置可以帮助开发者快速了解Spring Cloud Gateway的基本使用方法。

- 阅读更多 -

Django聚合-在QuerySet上生成聚合

System

2024-09-04

所有,数据库

在Django中，你可以使用aggregate()方法在QuerySet上生成聚合。这个方法可以接受一个或多个字段和聚合函数作为参数，并返回一个包含键值对的字典，其中键是你提供的字段名称和聚合函数的别名（如果有提供），值是计算出的聚合结果。

以下是一个简单的例子，演示如何在Django模型上使用aggregate()方法：

from django.db.models import Avg, Max, Min, Sum
from myapp.models import MyModel

# 假设MyModel有一个名为`value`的字段

# 计算value字段的平均值
average = MyModel.objects.aggregate(Avg('value'))

# 计算value字段的最大值、最小值和总和
max_value = MyModel.objects.aggregate(Max('value'))
min_value = MyModel.objects.aggregate(Min('value'))
sum_value = MyModel.objects.aggregate(Sum('value'))

# 同时计算多种聚合
results = MyModel.objects.aggregate(Avg('value'), Max('value'), Min('value'), Sum('value'))

在上面的代码中，Avg, Max, Min, 和 Sum 是Django提供的聚合函数。aggregate()方法返回的是一个字典，你可以通过键来访问各个聚合的结果。例如，average['value__avg']将会是value字段的平均值。

- 阅读更多 -

Oracle-数据库的备份与恢复_oracle全库备份及还原

System

2024-09-04

所有,数据库

Oracle数据库的全库备份可以使用RMAN（Recovery Manager）工具来完成。以下是使用RMAN进行全库备份和还原的基本步骤：

登录到RMAN：

rman target /

进行全库备份：

RMAN> backup database;

如果需要备份归档日志，可以使用以下命令：

RMAN> backup archivelog all;

若要还原数据库，可以使用以下命令：

RMAN> restore database;

恢复数据库：

RMAN> recover database;

如果数据库是使用自动恢复区（Automatic Recovery Area, ARA），则需要清理不需要的备份：

RMAN> crosscheck backup;
RMAN> delete expired backup;

请注意，这些命令只是示例，实际使用时可能需要根据具体环境调整命令参数。备份和恢复操作前，请确保已经有足够的权限，并且数据库处于可以进行备份和恢复的状态（例如，不能在数据库处于OPEN状态下直接执行恢复操作）。

- 阅读更多 -

Java开发 - Canal进阶之和Redis的数据同步

System

2024-09-04

所有,redis

import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.Message;
import com.alibaba.otter.canal.protocol.CanalEntry;
import redis.clients.jedis.Jedis;

public class CanalToRedis {

    public static void main(String args[]) {
        // 创建连接
        CanalConnector connector = CanalConnectors.newSingleConnector(
                new InetSocketAddress(AddressUtils.getHostIp(),
                11111), "example", "", "");

        // 启动连接
        connector.connect();
        connector.subscribe(".*\\..*");
        Jedis jedis = new Jedis("localhost");

        while (true) {
            // 获取数据
            Message message = connector.getWithoutAck(1024); // 获取指定数量的数据
            long batchId = message.getId();
            if (batchId == -1 || message.getEntries().isEmpty()) {
                try {
                    Thread.sleep(1000);
                } catch (InterruptedException e) {
                    Thread.currentThread().interrupt();
                }
            } else {
                dataHandle(message, jedis);
                connector.ack(batchId); // 确认消息消费成功
            }
        }
    }

    private static void dataHandle(Message message, Jedis jedis) {
        for (CanalEntry.Entry entry : message.getEntries()) {
            if (entry.getEntryType() == CanalEntry.EntryType.ROWDATA) {
                CanalEntry.RowChange rowChage = CanalEntry.RowChange.parseFrom(entry.getStoreValue());
                for (CanalEntry.RowData rowData : rowChage.getRowDatasList()) {
                    if (rowData.getAction() == CanalEntry.EventType.INSERT) {
                        // 插入数据逻辑
                        insertData(jedis, entry, rowData);
                    } else if (rowData.getAction() == CanalEntry.EventType.UPDATE) {
                        // 更新数据逻辑
                        updateData(jedis, entry, rowData);
                    } else if (rowData.getAction() == CanalEntry.EventType.DELETE) {
                        // 删除数据逻辑
                        deleteData(jedis, entry, rowData);
                    }
                }
            }
        }

- 阅读更多 -

【已解决】Oracle 12541 TNS 无监听程序

System

2024-09-04

所有,数据库

错误解释：

Oracle数据库在尝试通过网络连接时，如果客户端无法与数据库服务器的监听器建立连接，就可能会遇到ORA-12541: TNS:no listener错误。这通常意味着客户端所指定的监听器地址和端口没有正在监听的服务，或者监听器进程本身没有运行。

解决方法：

确认监听器是否正在运行：
- 在数据库服务器上，运行lsnrctl status命令查看监听器的状态。
- 如果监听器没有运行，使用lsnrctl start命令启动它。
检查监听器配置文件（listener.ora）：
- 确认监听器配置文件中的HOST和PORT参数是否正确，并且与你尝试连接时使用的信息一致。
- 如果有多个网络接口或地址，确保监听器配置为在正确的网络接口上监听。
确认端口是否正确并且没有被防火墙阻止：
- 检查操作系统防火墙设置，确保数据库监听的端口没有被阻止。
- 如果使用了网络地址转换（NAT）或者防火墙，确保正确配置了端口映射。
确认服务名称（SERVICE\_NAME）是否正确：
- 客户端连接配置中的服务名称应与监听器配置文件中定义的服务名称匹配。
如果上述步骤都确认无误，但问题依旧存在，尝试重启数据库服务器。

在进行任何更改后，记得保存配置文件并重新启动监听器。如果问题仍然无法解决，可能需要进一步检查网络设置或咨询Oracle数据库管理员。

System

2024-09-04

所有,java

在Spring Cloud中使用OpenFeign完成从一个微服务到另一个微服务的文件上传，你需要定义一个Feign客户端接口，并使用@PostMapping注解指定上传的端点URL。然后，你可以使用MultipartFile参数来发送文件。以下是一个简单的例子：

首先，添加依赖到你的pom.xml：

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-openfeign</artifactId>
</dependency>

然后，创建一个Feign客户端接口：

import org.springframework.cloud.openfeign.FeignClient;
import org.springframework.http.MediaType;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.multipart.MultipartFile;

@FeignClient(name = "remote-service", url = "http://remote-service-url")
public interface FileUploadClient {

    @PostMapping(value = "/upload", consumes = MediaType.MULTIPART_FORM_DATA_VALUE)
    void uploadFile(@RequestParam("file") MultipartFile file);
}

在你的服务中使用这个Feign客户端：

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.multipart.MultipartFile;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class FileUploadController {

    @Autowired
    private FileUploadClient fileUploadClient;

    @PostMapping("/upload")
    public String uploadFile(@RequestParam("file") MultipartFile file) {
        fileUploadClient.uploadFile(file);
        return "File upload successful";
    }
}

确保你的Feign客户端和控制器都在Spring Boot应用程序中被扫描到并配置正确。

以上代码提供了一个简单的例子，展示了如何使用OpenFeign客户端从一个微服务发送文件到另一个。记得替换remote-service和http://remote-service-url为实际的服务名和URL。

- 阅读更多 -

MVCC 多版本并发控制

System

2024-09-04

所有,数据库

MVCC，全称Multi-Version Concurrency Control，即多版本并发控制。它是数据库管理系统提供的一种事务隔离方式，在这种隔离方式下，对数据进行读写操作可以保证事务的隔离性，从而达到数据库的高并发和高可用性。

在MVCC中，每个事务在操作数据时都会获取一个数据的快照，这个快照对于其他事务来说是不可见的。当事务需要修改数据时，它会在数据文件中创建新的版本，而不是直接修改旧数据。这样，其他事务就可以在不受影响的情况下并发读取和修改数据。

以下是一个简单的例子，演示了在使用MVCC时，如何在不阻塞其他事务的情况下进行读写操作：

-- 假设有一个表格users，包含id和name两个字段

-- 开启事务A
START TRANSACTION;
SELECT id, name FROM users WHERE id = 1; -- 事务A读取id为1的用户信息

-- 同时，开启事务B进行更新操作
START TRANSACTION;
UPDATE users SET name = 'New Name' WHERE id = 1; -- 事务B更新id为1的用户名
COMMIT; -- 事务B提交

-- 事务A可以继续操作，此时它看到的是事务B开始之前的数据快照，即使事务B已经更新了数据，事务A依然可以按照原有的数据进行操作
UPDATE users SET name = 'Another Name' WHERE id = 1;
COMMIT;

在这个例子中，事务A和事务B可以并发执行，因为它们读取的是数据的不同版本，互不影响。这就是MVCC在数据库中提供高并发能力的一个例子。

System

2024-09-04

所有,java

Spring Cloud Nacos Config 支持多种配置优先级。配置从高到低依次是：本地外部配置 > 本地配置文件 > 远程配置。

本地外部配置：通过命令行指定参数，如java -jar yourapp.jar --spring.cloud.nacos.config.override-none=true，这会使得本地配置不会覆盖远程配置。
本地配置文件：通常是application.properties或application.yml文件，在这个文件中定义的配置会被加载。
远程配置：存储在 Nacos 中的配置，会被加载并应用。

如果需要在本地进行配置覆盖，可以在bootstrap.properties或bootstrap.yml中添加如下配置：

spring.cloud.nacos.config.override-none=true

或者在启动应用时通过命令行参数指定：

java -jar yourapp.jar --spring.cloud.nacos.config.override-none=true

这样，本地配置文件中的配置将会覆盖远程配置中的同名配置项。

以下是一个简单的示例，展示如何在application.properties中设置本地配置，并通过bootstrap.properties来覆盖远程配置的优先级：

application.properties:

# 本地配置示例
local.config=localValue

bootstrap.properties:

spring.cloud.nacos.config.override-none=true
spring.cloud.nacos.config.server-addr=127.0.0.1:8848
spring.application.name=example-app

Nacos 中的配置示例:

# 远程配置示例
remote.config=remoteValue

启动应用后，local.config 的值将是 localValue，而 remote.config 的值将会被本地配置覆盖为 remoteValue。

- 阅读更多 -