分类后端技术下的文章

【Redis】多级缓存之OpenResty：nginx查询Tomcat与Redis以及nginx本地缓存

2024-08-29




# 在OpenResty中配置多级缓存
 
http {
    # ...
 
    upstream tomcat_server {
        server 127.0.0.1:8080;
    }
 
    server {
        listen 80;
 
        # 配置本地缓存
        location /local_cache/ {
            # 设置本地缓存存储路径
            proxy_cache_path /data/nginx/cache levels=1:2 keys_zone=my_cache:10m max_size=10g inactive=60m use_temp_path=off;
 
            # 启用缓存
            proxy_cache my_cache;
 
            # 缓存有效期
            proxy_cache_valid 200 1d;
 
            # 代理设置
            proxy_pass http://tomcat_server;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 
            # 设置缓存键
            proxy_cache_key $uri$is_args$args;
        }
 
        # 配置Redis缓存
        location /redis_cache/ {
            # 设置Redis连接参数
            set $redis_key $uri$is_args$args;
            redis_pass 127.0.0.1:6379;
 
            # 设置缓存查询失败时的回退处理
            default_type text/plain;
            error_page 404 = @tomcat;
 
            # 从Redis缓存中获取数据
            redis_code 200 "get $redis_key";
 
            # 设置缓存有效期
            redis_code 200 "expire $redis_key 1d";
        }
 
        # 请求未命中Redis缓存时，代理到Tomcat服务器
        location @tomcat {
            proxy_pass http://tomcat_server;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
 
            # 将响应数据存储到Redis缓存中
            proxy_store on;
            proxy_store_access user:rw group:rw all:rw;
            proxy_temp_path /data/nginx/temp;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_pass_request_body off;
            proxy_pass_request_headers on;
            proxy_connect_timeout 10s;
            proxy_send_timeout 10s;
            proxy_read_timeout 10s;
 
            # 设置数据存储到Redis的键和过期时间
            set $redis_key $uri$is_args$args;
            set_by_lua_block $redis_expire $msec {
                return tonumber(ngx.var.msec) + 86400000;
            }
            lua_shared_dict msec 1m;
            lua_shared_dict redis_commands 1m;
            content_by_lua_block {
                local msec = ngx.shared.msec

- 阅读更多 -

Python模块psycopg2连接postgresql

System

2024-08-29

所有,数据库




import psycopg2
 
# 连接到数据库
conn = None
try:
    # 连接参数为：用户名、密码、数据库名、主机地址、端口号
    conn = psycopg2.connect(
        dbname="your_dbname",
        user="your_username",
        password="your_password",
        host="your_host",
        port="your_port"
    )
 
    # 创建一个游标对象
    cursor = conn.cursor()
 
    # 编写SQL查询
    cursor.execute("SELECT version();")
 
    # 获取查询结果
    db_version = cursor.fetchone()
 
    print(f"Database version: {db_version}")
 
    # 关闭游标
    cursor.close()
 
# 捕获异常并确保关闭连接
except psycopg2.Error as e:
    print("数据库连接失败:", e)
finally:
    if conn is not None:
        conn.close()
        print("数据库连接已关闭。")

这段代码展示了如何使用psycopg2模块连接PostgreSQL数据库，并执行一个简单的查询。在实际应用中，需要替换your_dbname, your_username, your_password, your_host, your_port为实际的数据库连接信息。

- 阅读更多 -

Laravel 配置：判断当前环境

System

2024-08-29

所有,php

在Laravel框架中，你可以通过检查环境变量 APP_ENV 来判断当前环境。这个变量被定义在 .env 文件中，并且可以通过 env 函数在应用程序的任何地方进行访问。

以下是一个示例，展示了如何在 Laravel 配置文件中根据当前环境来设置不同的配置值：




// config/app.php 或其他配置文件
 
return [
    'debug' => env('APP_DEBUG', false),
 
    'url' => env('APP_URL', 'http://localhost'),
 
    // 其他配置...
 
    'environment' => env('APP_ENV', 'production'),
 
    'key' => env('APP_KEY'),
 
    // 根据不同环境设置不同的配置值
    'api_url' => env('API_URL_LOCAL', 'http://localhost/api/')
        ?: env('API_URL_STAGING', 'http://staging.api.com/')
        ?: env('API_URL_PRODUCTION', 'http://api.com/'),
];

在 .env 文件中，你需要设置 APP_ENV 并根据需要设置相应的环境变量：




# .env 文件
 
APP_NAME=Laravel
APP_ENV=local
APP_KEY=base64:YOUR_APP_KEY
APP_DEBUG=true
APP_URL=http://localhost
 
API_URL_LOCAL=http://localhost/api/
API_URL_STAGING=http://staging.api.com/
API_URL_PRODUCTION=http://api.com/

当你需要在代码中使用这些配置时，你可以通过 config 函数来获取，例如：




$apiUrl = config('app.api_url');

这段代码会根据 .env 文件中设置的 APP_ENV 来选择使用 API_URL_LOCAL、API_URL_STAGING 还是 API_URL_PRODUCTION。

- 阅读更多 -

Centos7 安装mongodb 7.0

System

2024-08-29

所有,数据库

在CentOS 7上安装MongoDB 7.0，你可以遵循以下步骤：

配置MongoDB仓库，创建文件 /etc/yum.repos.d/mongodb-org-7.0.repo 并填入以下内容：




[mongodb-org-7.0]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/7.0/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-7.0.asc

安装MongoDB：




sudo yum install -y mongodb-org

启动MongoDB服务：




sudo systemctl start mongod

设置MongoDB服务开机自启：




sudo systemctl enable mongod

检查MongoDB服务状态：




sudo systemctl status mongod

以上步骤会在你的CentOS 7机器上安装MongoDB 7.0并启动MongoDB服务。如果你需要进一步配置，比如修改配置文件 /etc/mongod.conf，你可以按需求进行。

- 阅读更多 -

postgresql取各维度日期

System

2024-08-29

所有,数据库

在PostgreSQL中，要获取各种维度的日期（例如每年、每月、每日的日期列表），可以使用generate_series函数结合日期处理函数。以下是一些例子：

获取当前年份的每个月：




SELECT generate_series(
    date_trunc('year', CURRENT_DATE),
    date_trunc('year', CURRENT_DATE) + '1 year - 1 day'::interval,
    '1 month'::interval
)::date;

获取当前年份的每一天：




SELECT generate_series(
    date_trunc('year', CURRENT_DATE),
    date_trunc('year', CURRENT_DATE) + '1 year - 1 day'::interval,
    '1 day'::interval
)::date;

获取过去365天：




SELECT generate_series(
    CURRENT_DATE - '1 year'::interval,
    CURRENT_DATE,
    '1 day'::interval
)::date;

这些查询会生成给定时间范围内的日期序列，并且可以通过调整date_trunc、generate_series的起始和结束日期以及时间间隔来获取不同维度的日期列表。

System

2024-08-29

所有,java

要复现这个AJP文件包含漏洞，你需要：

一个运行有Apache Tomcat的服务器，且该服务器开启了AJP连接器。
一个具有AJP协议请求构造能力的工具，如curl。

以下是使用curl复现该漏洞的步骤：

确定目标服务器的AJP端口。默认端口通常是8009。
构造一个特制的AJP请求，尝试访问服务器上的敏感文件，如/etc/passwd。

以下是一个使用curl的示例命令，该命令尝试读取Tomcat服务器上的/etc/passwd文件：




curl -H "Host: your-vulnerable-host" --ajp 'http://your-vulnerable-host:8009/' -d '
  jk2ajp13_worker2.tomcat8|READ|null|/etc/passwd|
'

请注意，你需要替换your-vulnerable-host为目标服务器的IP或域名，并确保端口8009是开放且AJP服务在运行的。

如果目标服务器受影响，你应该能看到/etc/passwd文件的内容作为响应。

警告：此操作可能违反计算机安全政策和法律法规。在未授权的情况下尝试渗透测试是非法的。请在合法的授权下进行测试，并确保你有足够的权限和知识来安全地执行这些操作。

- 阅读更多 -

SpringBoot——LiteFlow引擎框架

System

2024-08-29

所有,java

LiteFlow是一个轻量级的开源工作流引擎，它用于在分布式系统中组合多个组件（节点）以实现复杂逻辑。以下是一个简单的Spring Boot集成LiteFlow的示例：

首先，在pom.xml中添加LiteFlow的依赖：




<dependency>
    <groupId>com.yomahub</groupId>
    <artifactId>liteflow-spring-boot-starter</artifactId>
    <version>最新版本号</version>
</dependency>

在application.properties或application.yml中配置LiteFlow规则路径：




# application.properties
liteflow.rule-source=your_config_path/flow.xml

或者




# application.yml
liteflow:
  rule-source: your_config_path/flow.xml

创建流程配置文件flow.xml，定义你的业务流程：




<flow>
    <chain name="chain1">
        <then>A组件</then>
        <when>B组件</when>
        <when>C组件</when>
        <then>D组件</then>
    </chain>
</flow>

创建LiteFlow组件类，实现NodeComponent接口：




@Component("A组件")
public class AComponent extends NodeComponent {
    @Override
    public void process() {
        // 业务逻辑
        log.info("执行A组件");
    }
}
 
// 其他组件类BComponent, CComponent, DComponent类似

在Spring Boot启动类或者任意配置类中使用LiteFlow：




@SpringBootApplication
public class LiteflowDemoApplication {
    public static void main(String[] args) {
        SpringApplication.run(LiteflowDemoApplication.class, args);
        FlowExecutor flowExecutor = SpringContextUtil.getBean(FlowExecutor.class);
        flowExecutor.execute("chain1", "arg"); // 执行名为chain1的链
    }
}

以上代码展示了如何在Spring Boot项目中集成LiteFlow，并定义了一个简单的流程。在实际应用中，你可以根据自己的业务需求定义更复杂的流程，并在组件中实现具体的业务逻辑。

System

2024-08-29

所有,java

在Spring Boot和Spring Cloud项目中，application和bootstrap的配置文件通常用于定义不同环境下的配置。

application：主要用于配置应用程序的参数，例如数据库连接信息、服务端口等。它是在Spring ApplicationContext完全启动后加载的。
bootstrap：主要用于配置Spring Cloud的配置，例如服务发现、配置中心等。它在application之前加载，并且通常会使用外部配置源（如配置服务器）。

加载顺序如下：

bootstrap：从外部配置源加载，通常在Spring ApplicationContext启动之前。
application：从本地文件或外部配置源加载。

加载过程中，bootstrap属于高优先级配置，会覆盖application中的相同属性。

举例来说，如果你有一个application.properties和bootstrap.properties，在Spring Boot应用启动时，bootstrap.properties中的配置会先加载，然后是application.properties的配置。

这里是一个简单的例子：

假设你有以下bootstrap.properties配置：




spring.application.name=my-application
spring.cloud.config.uri=http://config-server/

以及以下application.properties配置：




spring.profiles.active=production
server.port=8080

在这个例子中，spring.application.name在bootstrap.properties中被定义，会先加载并被应用。spring.profiles.active在application.properties中被设置，会覆盖bootstrap中相同属性的值，除非在bootstrap中指定了该属性。

记住，bootstrap配置的使用场景是当你需要在启动过程中就加载一些高优先级的配置时，比如服务发现、安全配置等。而application配置则是针对你的应用程序的具体配置。

- 阅读更多 -

Redis 中 redis-benchmark 详解及参数介绍

System

2024-08-29

所有,redis

redis-benchmark 是 Redis 官方提供的性能测试工具，用于测试 Redis 在特定条件下的性能。

基本使用方法如下：




redis-benchmark [option] [option value]

常用参数：

-h 指定服务器的 host 默认是 127.0.0.1
-p 指定服务器端口默认是 6379
-s 指定服务器 socket
-c 并发连接数默认是 50
-n 请求总数默认是 100000
-d 数据大小默认是 3 bytes
--csv 将结果以 CSV 格式输出
--latency 测试延迟
--timeout 超时时间默认是 30s
--idle 测试空闲数据库连接性能
--dbnum 测试的数据库数量默认是 16
--acl 指定 ACL 规则
--user 指定用户名
--pass 指定密码
\`--ssl 使用 SSL 连接
--lua-script 指定 Lua 脚本路径
--set-client-output-buffer-limit 设置客户端输出缓冲区大小
\`--no-loop 不循环执行测试

实例代码：




# 测试本地 Redis 默认设置
redis-benchmark
 
# 测试指定的 host 和 port
redis-benchmark -h localhost -p 6379
 
# 测试 10000 个请求
redis-benchmark -n 10000
 
# 使用 50 个并发连接
redis-benchmark -c 50
 
# 设置数据大小为 1KB
redis-benchmark -d 1024
 
# 将结果输出为 CSV 格式
redis-benchmark --csv
 
# 设置超时时间为 60 秒
redis-benchmark --timeout 60
 
# 测试 Lua 脚本性能
redis-benchmark --lua-script my_script.lua

以上命令行参数可以根据实际需要进行组合使用，以测试不同条件下的 Redis 性能。

- 阅读更多 -

JEECG-Boot使用PostgreSQL替换Mysql数据库

System

2024-08-29

所有,数据库

要在JEECG-Boot项目中使用PostgreSQL替换MySQL数据库，你需要进行以下步骤：

修改application-dev.yml或相应的开发配置文件，将数据源配置从MySQL更改为PostgreSQL。




spring:
  datasource:
    driver-class-name: org.postgresql.Driver
    url: jdbc:postgresql://localhost:5432/jeecg-boot
    username: postgres_user
    password: postgres_pass

修改pom.xml文件，注释掉MySQL的依赖，并添加PostgreSQL的依赖。




<!-- MySQL 依赖注释掉 -->
<!--<dependency>-->
<!--    <groupId>mysql</groupId>-->
<!--    <artifactId>mysql-connector-java</artifactId>-->
<!--</dependency>-->
 
<!-- PostgreSQL 依赖添加 -->
<dependency>
    <groupId>org.postgresql</groupId>
    <artifactId>postgresql</artifactId>
    <version>42.5.0</version> <!-- 使用合适的版本 -->
</dependency>

确保PostgreSQL数据库已经创建，并且用户有足够的权限。
如果数据库表使用了特定于MySQL的存储引擎或数据类型，你需要根据PostgreSQL的语法进行相应的调整。
运行JEECG-Boot项目，确保数据源配置正确，并且所有的数据库操作都能正常工作。

注意：确保PostgreSQL驱动版本与JEECG-Boot项目兼容。如果你在更改过程中遇到任何错误，检查数据库迁移脚本和数据库访问层代码是否需要调整以适应PostgreSQL。

- 阅读更多 -