Tech Blog

2024-09-03

Sentinel 是阿里巴巴开源的面向分布式服务架构的轻量级流量控制框架，主要以流量为切入点，提供多维度的流量控制、熔断降级、系统负载保护等功能。

Sentinel 的主要特性包括：

资源流量控制
系统负载保护
熔断降级
实时监控

Sentinel 可以通过 Java 客户端直接引入，也可以通过 Sentinel 控制台进行管理和监控。

安装 Sentinel 控制台步骤：

下载 Sentinel 控制台 jar 包。
通过 Java 命令运行 jar 包。

例如：




java -Dserver.port=8080 -Dcsp.sentinel.dashboard.server=localhost:8080 -jar sentinel-dashboard-1.8.0.jar

在启动控制台后，访问 http://localhost:8080 即可进入 Sentinel 控制台界面。

注意：确保 Java 环境变量配置正确，并且 Sentinel 控制台的版本与 Sentinel 客户端版本兼容。

Redis 缓存中间件缓存数据库

2024-09-03

所有,redis

Redis是一种开源的内存中数据结构存储系统，可以用作数据库、缓存和消息中间件。以下是一个使用Python和redis-py库操作Redis缓存数据库的示例：

首先，安装redis-py库：




pip install redis

然后，使用以下Python代码操作Redis缓存：




import redis
 
# 连接到Redis
redis_host = 'localhost'
redis_port = 6379
r = redis.StrictRedis(host=redis_host, port=redis_port, decode_responses=True)
 
# 设置键值对
r.set('key', 'value')
 
# 获取键的值
value = r.get('key')
print(value)
 
# 删除键
r.delete('key')
 
# 设置带有过期时间的键
r.setex('key_with_expiry', 10, 'value_with_expiry')  # 10秒后过期
 
# 批量设置键值对
r.mset({'key1': 'value1', 'key2': 'value2'})
 
# 批量获取键值对
values = r.mget(['key1', 'key2'])
print(values)
 
# 获取数据库大小
db_size = r.dbsize()
print(db_size)
 
# 清空数据库
r.flushdb()
 
# 关闭连接
r.close()

这段代码展示了如何使用redis-py库连接到Redis，如何设置、获取、删除键，以及如何设置带有过期时间的键和批量操作键。最后，代码展示了如何获取数据库的大小和清空数据库，并在最后关闭了与Redis的连接。

Dockerfile构建Tomcat镜像（源码）

2024-09-03

以下是一个简化的Dockerfile示例，用于构建一个包含Apache Tomcat的Docker镜像：




# 使用官方的Java镜像作为基础镜像
FROM openjdk:8-jdk-alpine
 
# 设置工作目录
WORKDIR /usr/local
 
# 定义Tomcat版本和SHA1校验和，这里需要替换为实际的下载链接和校验和值
ENV CATALINA_HOME /usr/local/tomcat
ENV CATALINA_BASE /usr/local/tomcat
ENV TOMCAT_MAJOR_VERSION 9
ENV TOMCAT_VERSION 9.0.62
ENV TOMCAT_SHA1 31d634799798ae4a9368fd0894f45ed4a457234a73392d6f97200b0566e010d
 
# 下载Tomcat，并校验完整性
RUN wget -q -O tomcat.tar.gz "http://www-us.apache.org/dist/tomcat/tomcat-$TOMCAT_MAJOR_VERSION/v$TOMCAT_VERSION/bin/apache-tomcat-$TOMCAT_VERSION.tar.gz" \
    && echo "$TOMCAT_SHA1  tomcat.tar.gz" | sha1sum -c - \
    && tar -xvzf tomcat.tar.gz \
    && mv apache-tomcat-$TOMCAT_VERSION tomcat \
    && rm tomcat.tar.gz \
    && ln -s $CATALINA_HOME/bin/catalina.sh /usr/local/bin \
    && chmod +x /usr/local/bin/catalina.sh
 
# 暴露8080端口
EXPOSE 8080
 
# 设置容器启动时执行的命令
CMD ["catalina.sh", "run"]

这个Dockerfile使用了OpenJDK 8的Alpine Linux镜像作为基础，下载了Apache Tomcat的压缩包，并且通过校验其SHA1来确保下载内容的安全性。然后它解压缩了Tomcat压缩包，并创建了必要的符号链接和授予了执行权限。最后，它暴露了Tomcat的默认端口8080，并设置了容器启动时执行的命令。

cmd命令创建oracle数据库

2024-09-03

所有,数据库

在Windows环境下，使用CMD命令行创建Oracle数据库不是一个标准的操作。通常，Oracle数据库的创建是通过Oracle提供的数据库配置助手（Database Configuration Assistant，DBCA）来完成的，或者使用Oracle的命令行工具SQL*Plus执行创建数据库的脚本。

如果你需要在Windows上手动创建一个Oracle数据库，你可以尝试以下步骤：

确保Oracle软件已经安装，包括数据库软件和客户端软件。
设置环境变量，如ORACLE_HOME和PATH，使其指向Oracle安装目录。
打开CMD命令行界面。
使用sqlplus工具以SYS用户登录到Oracle（通常是以SYSDBA角色）。
执行创建数据库的SQL命令，例如：




CREATE DATABASE mydb
   USER SYS IDENTIFIED BY sys_password
   USER SYSTEM IDENTIFIED BY system_password
   LOGFILE GROUP 1 ('D:\oracle\oradata\mydb\redo01.log') SIZE 100M,
           GROUP 2 ('D:\oracle\oradata\mydb\redo02.log') SIZE 100M
   MAXLOGFILES 5
   MAXLOGMEMBERS 5
   MAXLOGHISTORY 1
   MAXDATAFILES 100
   CHARACTER SET AL32UTF8
   NATIONAL CHARACTER SET AL16UTF16
   EXTENT MANAGEMENT LOCAL
   DATAFILE 'D:\oracle\oradata\mydb\system01.dbf' SIZE 700M REUSE
   SYSAUX DATAFILE 'D:\oracle\oradata\mydb\sysaux01.dbf' SIZE 700M REUSE
   DEFAULT TABLESPACE users
      DATAFILE 'D:\oracle\oradata\mydb\users01.dbf'
      SIZE 500M REUSE AUTOEXTEND ON MAXSIZE UNLIMITED
   DEFAULT TEMPORARY TABLESPACE temp
      TEMPFILE 'D:\oracle\oradata\mydb\temp01.dbf'
      SIZE 20M REUSE
   UNDO TABLESPACE undotbs
      DATAFILE 'D:\oracle\oradata\mydb\undotbs01.dbf'
      SIZE 200M REUSE AUTOEXTEND ON MAXSIZE UNLIMITED;

请注意，这个命令是一个示例，你需要根据你的系统环境和需求调整路径、文件名、密码、字符集等参数。

此外，这个过程不是官方支持的，可能会遇到各种问题，如权限不足、路径不存在、磁盘空间不足等。在生产环境中，应该使用Oracle提供的官方工具和方法来创建和管理数据库。

Spring Cloud之Gateway网关过滤器(URL黑名单)

2024-09-03




import org.springframework.cloud.gateway.filter.GatewayFilterChain;
import org.springframework.cloud.gateway.filter.GlobalFilter;
import org.springframework.core.io.buffer.DataBufferUtils;
import org.springframework.http.HttpStatus;
import org.springframework.http.server.reactive.ServerHttpResponse;
import org.springframework.web.server.ServerWebExchange;
import reactor.core.publisher.Mono;
 
import java.nio.charset.StandardCharsets;
import java.util.List;
 
public class BlacklistFilter implements GlobalFilter {
 
    private final List<String> blacklist;
 
    public BlacklistFilter(List<String> blacklist) {
        this.blacklist = blacklist;
    }
 
    @Override
    public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) {
        String path = exchange.getRequest().getURI().getPath();
 
        // 检查请求路径是否在黑名单中
        if (blacklist.stream().anyMatch(path::startsWith)) {
            // 如果在黑名单中，返回403禁止访问
            ServerHttpResponse response = exchange.getResponse();
            response.setStatusCode(HttpStatus.FORBIDDEN);
            // 可以返回更友好的错误信息
            byte[] bytes = "You are not allowed to access this resource".getBytes(StandardCharsets.UTF_8);
            DataBufferUtils.write(response.bufferFactory().wrap(bytes), response.getBody());
            return exchange.getResponse().setComplete();
        }
 
        // 如果不在黑名单中，继续请求处理
        return chain.filter(exchange);
    }
}

这段代码定义了一个名为BlacklistFilter的全局过滤器，用于检查请求的路径是否在黑名单中。如果在黑名单中，过滤器将返回HTTP状态码403，表示禁止访问。这是一个简单的示例，展示了如何在Spring Cloud Gateway中实现基于路径的访问控制。

Springboot与SpringSecurity使用：授权、自定义异常处理

2024-09-03




import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.security.config.annotation.authentication.builders.AuthenticationManagerBuilder;
import org.springframework.security.config.annotation.web.builders.HttpSecurity;
import org.springframework.security.config.annotation.web.configuration.EnableWebSecurity;
import org.springframework.security.config.annotation.web.configuration.WebSecurityConfigurerAdapter;
import org.springframework.security.core.userdetails.User;
import org.springframework.security.core.userdetails.UserDetailsService;
import org.springframework.security.provisioning.InMemoryUserDetailsManager;
import org.springframework.security.crypto.password.NoOpPasswordEncoder;
import org.springframework.security.crypto.password.PasswordEncoder;
import org.springframework.security.config.annotation.web.servlet.configuration.EnableWebMvcSecurity;
 
@Configuration
@EnableWebSecurity
public class SecurityConfig extends WebSecurityConfigurerAdapter {
 
    @Override
    protected void configure(AuthenticationManagerBuilder auth) throws Exception {
        auth.inMemoryAuthentication()
                .withUser(User.withDefaultPasswordEncoder()
                        .username("user")
                        .password("user")
                        .roles("USER")
                        .build());
    }
 
    @Override
    protected void configure(HttpSecurity http) throws Exception {
        http
                .authorizeRequests()
                .antMatchers("/", "/home").permitAll()
                .anyRequest().authenticated()
                .and()
                .formLogin()
                .loginPage("/login")
                .permitAll()
                .and()
                .logout()
                .permitAll();
    }
 
    @Bean
    public PasswordEncoder passwordEncoder() {
        return NoOpPasswordEncoder.getInstance(); // 仅用于开发环境
    }
}

这段代码定义了一个简单的Spring Security配置，它使用内存中的用户存储进行身份验证，并为用户提供了一个默认的密码编码器。在生产环境中，你应该使用更安全的密码编码器，如BCryptPasswordEncoder。此外，它还展示了如何配置基于表单的登录以及登出功能。

Spring、Springboot、SpringCloud--包含的知识点大全

2024-09-03

Spring、Spring Boot和Spring Cloud都是由Pivotal提供的开源框架，它们都是为了简化Java开发而生，但关注点有所不同。

Spring：Spring是一个开源的Java/Java EE全功能框架，它解决了企业应用开发的复杂性，提供了IOC（控制反转）和AOP（面向切面编程）等核心技术，使得应用的开发更加容易维护和测试。
Spring Boot：Spring Boot是Spring的一个子项目，旨在简化Spring应用和服务的创建、开发与部署，使用Spring Boot你可以 "just run" 一个简单的Spring应用。Spring Boot为Spring平台及第三方库提供了一种快速具体的方法来进行配置。
Spring Cloud：Spring Cloud是一个服务于开发者的Spring工具，它提供了在分布式系统中的通用模式（例如配置管理，服务发现，断路器，智能路由，微代理，控制总线）。Spring Cloud建立在Spring Boot的基础之上，使得开发者可以快速的建立起生产级的系统。

包含的知识点大全：

Spring:

控制反转(IOC)
面向切面编程(AOP)
声明式事务管理
数据库事务管理
集成Hibernate/MyBatis
通过MVC模式开发Web应用
支持REST API
支持消息MQ
支持安全管理
支持测试

Spring Boot:

自动配置Spring
提供了starter起步依赖来简化Maven配置
内嵌了Tomcat、Jetty和Undertow容器
提供了一些生产就绪型功能（如度量、健康检查、外部配置等）
无需配置XML，无代码生成，开箱即用
支持更多的开发活动（如安全、监控、Batch、Rest客户端等）

Spring Cloud:

服务发现与注册(Eureka、Consul、Zookeeper等)
路由配置(Zuul)
服务间调用(Feign)
负载均衡(Ribbon)
断路器(Hystrix)
分布式配置(Spring Cloud Config)
事件总线(Spring Cloud Bus)
控制总线(Spring Cloud Sleuth)

以上是Spring、Spring Boot和Spring Cloud的基本概述和它们所涵盖的知识点，具体使用时需要根据项目需求和业务场景来选择合适的模块和功能。

windows安装postgresql

2024-09-03

所有,数据库

在Windows上安装PostgreSQL的步骤如下：

访问PostgreSQL官方下载页面：https://www.postgresql.org/download/windows/
点击“Download the installer”链接，根据您的Windows系统（32位或64位）选择合适的安装程序。
下载完成后，运行安装程序。
在安装向导中，选择“Run the installer”。
阅读许可协议，点击“Continue”。
在“Feature Selection”步骤中，可以选择安装PostgreSQL的具体特性，如数据库引擎、工具、文档等。
选择安装路径，选择数据目录（如果需要）。
选择服务器配置，如端口号、数据库超级用户的密码。
选择是否要安装PostgreSQL为Windows服务，并指定服务的登录账户。
检查安装选项，确认无误后点击“Install”开始安装。
安装完成后，点击“Finish”退出安装向导。
可以通过Windows服务管理工具或pgAdmin来启动、停止和管理PostgreSQL服务。

以下是一个简单的示例，展示如何使用命令行安装PostgreSQL：




# 下载PostgreSQL安装程序（以64位为例）
curl -O https://get.enterprisedb.com/postgresql/postgresql-12.3-1-windows-x64.exe
 
# 安装PostgreSQL，请根据实际情况调整安装路径和参数
start /wait postgresql-12.3-1-windows-x64.exe /quiet install dir="C:\Program Files\PostgreSQL\12" datadir="C:\Program Files\PostgreSQL\12\data" port=5432 superpassword=yourpassword
 
# 注册PostgreSQL为Windows服务
sc create "PostgreSQL" binPath= "\"C:\Program Files\PostgreSQL\12\bin\pg_ctl.exe\"" run as= "NetworkService"
 
# 启动PostgreSQL服务
net start PostgreSQL

请确保替换yourpassword为您想要设置的超级用户密码，并根据需要调整安装路径和配置参数。

介绍一下redis中底层磁盘及IO模型，数据持久化机制，哨兵机制

2024-09-03

所有,redis

Redis的底层磁盘IO模型主要是基于内存映射文件（mmap）和write操作。Redis使用内存映射文件来让操作系统负责将磁盘上的数据文件映射到内存中，应用程序对内存的修改会直接反映到磁盘上，从而实现高效的IO操作。同时，Redis提供了RDB和AOF两种数据持久化机制，以保证服务器重启后能够恢复数据。

Redis的数据持久化机制：

RDB：定时将内存中的数据快照保存到磁盘的一个压缩二进制文件中。
AOF：每个写命令都通过append操作保存到文件中。

Redis的哨兵（Sentinel）机制是一种用于管理Redis服务的自动故障转移机制。哨兵是一个独立的进程，它可以监控主Redis服务器和其从服务器，当主服务器出现故障时，哨兵会自动将一个从服务器升级为新的主服务器，并更新其他从服务器的配置，使它们开始复制新的主服务器。

以下是哨兵配置的一个简单例子：




# sentinel.conf
sentinel monitor mymaster 127.0.0.1 6379 2
sentinel down-after-milliseconds mymaster 30000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000

在这个配置中：

sentinel monitor mymaster: 监控一个名为mymaster的主服务器。
127.0.0.1 6379: 主服务器的IP和端口。
2: 最少需要2个哨兵同意主服务器已经失效才会进行故障转移。
sentinel down-after-milliseconds: 如果master在指定的毫秒数内没有响应，则认为它是宕机的。
sentinel parallel-syncs: 在故障转移期间，可以有几个从服务器同时进行同步。
sentinel failover-timeout: 故障转移超时时间。

postgresql 扩展pg_cron,pg_stat_statements安装配置

2024-09-03

所有,数据库

要在PostgreSQL中安装和配置pg_cron和pg_stat_statements，你需要遵循以下步骤：

确保你的PostgreSQL版本支持这些扩展。
使用pg_cron和pg_stat_statements的预编译包来安装它们。
加载扩展到数据库中。
配置pg_stat_statements。

以下是具体步骤的示例：

安装`pg_cron`




# 以Ubuntu为例，安装pg_cron
sudo apt-get install postgresql-12-pg_cron

加载`pg_cron`扩展




-- 以postgres用户登录到psql
psql -U postgres
 
-- 加载pg_cron扩展
CREATE EXTENSION pg_cron;

配置定时任务




-- 添加一个每分钟执行一次的定时任务
SELECT pg_cron.schedule('* * * * *', $$INSERT INTO my_table(name) VALUES('pg_cron job')$$);

安装`pg_stat_statements`

首先，你需要确保你的PostgreSQL版本支持pg_stat_statements。然后，你可以使用以下命令安装：




# 安装pg_stat_statements
CREATE EXTENSION pg_stat_statements;

配置`pg_stat_statements`

在postgresql.conf文件中启用并配置pg_stat_statements：




shared_preload_libraries = 'pg_stat_statements'
 
# 设置收集数据的最小执行次数
pg_stat_statements.track = all
 
# 设置保留在pg_stat_statements中的数据时间（以毫秒为单位）
pg_stat_statements.max = 1000

加载`pg_stat_statements`扩展




-- 以postgres用户登录到psql
psql -U postgres
 
-- 加载pg_stat_statements扩展
CREATE EXTENSION pg_stat_statements;

使用`pg_stat_statements`




-- 查看统计信息
SELECT * FROM pg_stat_statements;

确保在执行这些操作之前，你有适当的权限，并且在生产环境中操作时要格外小心，尤其是关于pg_stat_statements的配置，因为它可能会消耗大量的内存。