分类后端技术下的文章

2024-09-09

Spring AI 是一个用于创建和部署机器学习模型的平台，它提供了一系列的工具和库来简化机器学习的开发和部署流程。Spring AI 提供了与 Spring Boot 的整合，使得在 Spring Boot 应用中集成机器学习模型变得更加简单。

以下是如何在 Spring Boot 项目中整合 Spring AI 的步骤：

在 Spring Boot 项目的 pom.xml 文件中添加 Spring AI 依赖：




<dependencies>
    <!-- 添加 Spring AI 相关依赖 -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-ai-tensorflow</artifactId>
    </dependency>
    <!-- 其他依赖 -->
</dependencies>

配置 Spring AI 模型的加载。在 application.properties 或 application.yml 文件中指定模型的位置：




# application.properties
spring.ai.tensorflow.model.name=my_model
spring.ai.tensorflow.model.path=file:./models/my_model

在 Spring Boot 应用中使用 Spring AI 提供的模型执行预测：




import org.springframework.ai.tensorflow.core.TensorFlowService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RestController;
 
@RestController
public class PredictionController {
 
    @Autowired
    private TensorFlowService tensorflowService;
 
    @PostMapping("/predict")
    public PredictionResult predict(@RequestBody InputData inputData) {
        // 使用 tensorflowService 执行预测
        return tensorflowService.predict(inputData);
    }
}

以上代码展示了如何在 Spring Boot 应用中集成 Spring AI 并使用 TensorFlowService 执行模型的预测。具体的 PredictionResult 和 InputData 需要根据实际的模型输入输出进行定义。

- 阅读更多 -

centos7安装Redis7.2.4

System

2024-09-09

所有,redis

在CentOS 7上安装Redis 7.2.4，可以按照以下步骤进行：

首先，更新你的系统包索引并升级所有包：
```
sudo yum update
```
安装编译相关工具：
```
sudo yum install -y gcc make
```

下载Redis 7.2.4的源代码：




wget http://download.redis.io/releases/redis-7.2.4.tar.gz

解压源代码：
```
tar xzf redis-7.2.4.tar.gz
```
进入Redis源代码目录：
```
cd redis-7.2.4
```
编译Redis：
```
make
```
安装Redis到系统路径里（可选）：
```
sudo make install
```
如果你想要安装Redis的可执行文件到/usr/local/bin，确保你已经执行了上面的make install步骤。
启动Redis服务器：
```
redis-server
```
你也可以通过指定配置文件来启动Redis服务器：
```
redis-server /path/to/redis.conf
```

如果你想要Redis随系统启动，你可以使用systemd服务文件。创建一个名为redis.service的文件，内容如下：




[Unit]
Description=Redis In-Memory Data Store
After=network.target
 
[Service]
User=redis
Group=redis
ExecStart=/usr/local/bin/redis-server /path/to/redis.conf
ExecStop=/usr/local/bin/redis-cli shutdown
Restart=always
 
[Install]
WantedBy=multi-user.target

将此文件保存至/etc/systemd/system/redis.service，然后使用以下命令启用和启动Redis服务：




sudo systemctl daemon-reload
sudo systemctl enable redis
sudo systemctl start redis

请注意，上述步骤可能需要根据你的系统配置和安全策略进行调整。特别是，建议设置密码，配置防火墙规则，以及使用非root用户运行Redis服务等安全建议。

- 阅读更多 -

SpringCloudGateway之统一鉴权篇

System

2024-09-09

所有,java




import org.springframework.cloud.gateway.filter.GatewayFilterChain;
import org.springframework.cloud.gateway.filter.GlobalFilter;
import org.springframework.core.Ordered;
import org.springframework.http.HttpStatus;
import org.springframework.stereotype.Component;
import org.springframework.web.server.ServerWebExchange;
import reactor.core.publisher.Mono;
 
@Component
public class AuthorizationFilter implements GlobalFilter, Ordered {
 
    @Override
    public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) {
        // 这里可以添加鉴权逻辑，例如检查请求头或者查询参数中的Token
        // 假设我们检查请求头中的 "Authorization" 是否包含 "ValidToken"
        String token = exchange.getRequest().getHeaders().getFirst("Authorization");
        if (token == null || !token.equals("ValidToken")) {
            // 如果鉴权失败，返回401 Unauthorized
            exchange.getResponse().setStatusCode(HttpStatus.UNAUTHORIZED);
            return exchange.getResponse().setComplete();
        }
        // 如果鉴权成功，继续执行后续的过滤器和路由
        return chain.filter(exchange);
    }
 
    @Override
    public int getOrder() {
        // 确保鉴权过滤器在其他过滤器之前执行
        return -1;
    }
}

这段代码定义了一个全局过滤器AuthorizationFilter，用于实现统一的鉴权逻辑。它检查请求头中的Authorization值是否为有效的鉴权令牌。如果令牌无效，则返回401状态码，表示未授权访问。这个例子展示了如何在Spring Cloud Gateway中添加一个全局过滤器来实现鉴权逻辑。

System

2024-09-09

所有,java

为了在Spring Boot项目中整合阿里巴巴的Druid数据库连接池，你需要按照以下步骤操作：

在pom.xml中添加Druid依赖：




<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid-spring-boot-starter</artifactId>
    <version>1.2.8</version>
</dependency>

在application.properties或application.yml中配置Druid数据库连接池：




# 数据库连接信息
spring.datasource.url=jdbc:mysql://localhost:3306/your_database
spring.datasource.username=your_username
spring.datasource.password=your_password
 
# 使用Druid数据库连接池
spring.datasource.type=com.alibaba.druid.pool.DruidDataSource
 
# Druid数据库连接池配置
spring.datasource.druid.initial-size=5
spring.datasource.druid.min-idle=5
spring.datasource.druid.max-active=20
spring.datasource.druid.max-wait=60000
spring.datasource.druid.validation-query=SELECT 1 FROM DUAL
spring.datasource.druid.test-on-borrow=false
spring.datasource.druid.test-on-return=false
spring.datasource.druid.test-while-idle=true
spring.datasource.druid.time-between-eviction-runs-millis=60000

确保你的Spring Boot应用中已经启用了Druid监控服务（可选）：




@Configuration
@ConditionalOnClass(DruidDataSource.class)
@AutoConfigureAfter(DataSourceAutoConfiguration.class)
public class DruidConfig {
 
    @Bean
    public ServletRegistrationBean<StatViewServlet> druidServlet() {
        ServletRegistrationBean<StatViewServlet> servletRegistrationBean = 
          new ServletRegistrationBean<>(new StatViewServlet(), "/druid/*");
        // 可选配置
        servletRegistrationBean.addInitParameter("loginUsername", "your_username");
        servletRegistrationBean.addInitParameter("loginPassword", "your_password");
        return servletRegistrationBean;
    }
 
    @Bean
    public FilterRegistrationBean<WebStatFilter> druidFilter() {
        FilterRegistrationBean<WebStatFilter> filterRegistrationBean = 
          new FilterRegistrationBean<>(new WebStatFilter());
        filterRegistrationBean.addUrlPatterns("/*");
        filterRegistrationBean.addInitParameter("exclusions", "*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*");
        return filterRegistrationBean;
    }
}

完成以上步骤后，Druid数据库连接池将会被自动配置并整合到你的Spring Boot项目中。你可以通过访问http://<your_host>:<port>/<context-path>/druid来访问Druid提供的监控页面，查看数据库连接池的状态和监控信息。

System

2024-09-09

所有,redis

在解释这个问题之前，我们先来回忆一下，什么是双写一致性问题。

双写一致性问题是指，数据同时写入数据库和缓存时，由于并发或者其他原因导致数据不一致的问题。

以下是解决双写一致性问题的几种常见方法：

延时双删

在数据更新操作完成后，先删除缓存，然后再更新数据库，最后再删除缓存。这里的第三步是为了等待数据库更新操作完成，确保缓存中的数据是最新的。




def update_db_and_redis(key, new_value):
    delete_redis(key)  # 删除缓存
    update_db(key, new_value)  # 更新数据库
    time.sleep(1)  # 等待数据库操作完成
    delete_redis(key)  # 再次删除缓存

使用分布式锁

在并发情况下，可以使用分布式锁来确保同一时间只有一个操作可以对数据进行写操作。




def update_with_lock(key, new_value):
    acquire_lock(key)
    delete_redis(key)
    update_db(key, new_value)
    release_lock(key)
    delete_redis(key)

异步通知

通过消息队列或者其他机制，在数据更新后异步通知删除缓存。




def update_db_and_notify(key, new_value):
    delete_redis(key)
    update_db(key, new_value)
    send_message('delete_cache', key)  # 发送消息通知删除缓存

使用canal

canal 是一个基于 MySQL 数据库增量日志解析的开源工具，可以监控 MySQL 的 binlog，然后通过 binlog 来实现数据库和缓存的同步。




def update_db_with_canal(key, new_value):
    update_db(key, new_value)
    delete_redis(key)

以上方法都是在不同的场景下使用的，具体使用哪一种方法，需要根据实际的业务场景和需求来决定。

- 阅读更多 -

高级DBA带你达梦数据库按模式备份导出导入迁移实战

System

2024-09-09

所有,数据库




-- 创建备份目录
CREATE BACKUP DIRECTORY backup_dir AS '/path/to/backup/directory';
 
-- 创建恢复目录
CREATE RESTORE DIRECTORY restore_dir AS '/path/to/restore/directory';
 
-- 按模式备份数据库
BACKUP DATABASE mydb MODE LEVEL 0 TO backup_dir;
 
-- 删除数据库
DROP DATABASE mydb;
 
-- 恢复数据库
CREATE DATABASE mydb;
RESTORE DATABASE mydb FROM backup_dir;
 
-- 确保数据库运行在正常状态
RECOVER DATABASE mydb;
 
-- 删除备份目录和恢复目录
DROP BACKUP DIRECTORY backup_dir;
DROP RESTORE DIRECTORY restore_dir;

这个简化的示例展示了如何在达梦数据库中创建备份和恢复目录，对数据库进行按模式备份，删除数据库，然后从备份中恢复数据库，并确保数据库处于正常状态。最后，代码展示了如何删除创建的目录。这个流程是数据库管理员在迁移或备份数据库时的一个基本实践。

System

2024-09-09

所有,数据库

要使用SQLite Expert Professional将一个Access数据库文件（.accdb或.mdb）导入到SQLite数据库，你可以按照以下步骤操作：

打开SQLite Expert Professional。
在程序中，选择“文件”菜单，然后点击“导入”下拉菜单中的“数据库...”。
在打开的对话框中，选择“来源数据库文件”选项，然后点击“...”按钮来选择你的Access数据库文件。
选择后，确认目标数据库，通常这是一个新的或空的SQLite数据库文件。
接下来，选择要导入的表和其他数据库对象（如视图、触发器等）。
最后，点击“导入”按钮开始导入过程。

这个过程通常是自动的，但可能需要解决数据类型的兼容性问题或者其他小的问题。导入完成后，你可以在SQLite Expert Professional中查看和管理这些数据。

请注意，导入过程可能不会完美无缺，特别是如果Access数据库使用了一些SQLite不支持的复杂特性。在这种情况下，你可能需要手动调整导入的结果或者重新编写某些查询。

- 阅读更多 -

SpringCloud如何构建本地调试环境

System

2024-09-09

所有,java

在Spring Cloud中构建本地调试环境通常涉及以下步骤：

使用Spring Cloud的配置服务器，例如Spring Cloud Config，来管理配置文件。
利用Spring Cloud的服务发现和注册，例如Eureka或Consul，来管理服务间的通信。
使用Spring Cloud的断路器模式，例如Hystrix，来管理服务间的容错和熔断。
使用Spring Cloud的路由器，例如Zuul，来管理API网关。

以下是一个简化的例子，展示如何为一个简单的服务提供者设置本地调试环境：




@SpringBootApplication
@EnableEurekaClient
public class ProviderApplication {
 
    public static void main(String[] args) {
        SpringApplication.run(ProviderApplication.class, args);
    }
 
    @Bean
    public RestTemplate restTemplate(RestTemplateBuilder builder) {
        return builder.build();
    }
}

在application.properties或application.yml中配置Eureka服务器地址：




spring.application.name=provider-service
server.port=8080
 
eureka.client.serviceUrl.defaultZone=http://localhost:8761/eureka/

启动Eureka服务器（可以是单节点模式）：




java -jar eureka-server.jar

启动服务提供者：




mvn spring-boot:run

这样就设置了一个基本的本地调试环境，其中ProviderApplication是服务提供者的启动类，eureka-server.jar是Eureka服务器的JAR包，通过IDE进行调试。

对于更复杂的环境，可能还需要配置额外的参数，例如指定配置文件的位置或启用特定的Spring Cloud功能。

- 阅读更多 -

SSRF+Redis未授权getshell

System

2024-09-09

所有,redis

SSRF（Server-Side Request Forgery，服务器端请求伪造）是一种攻击技术，它允许攻击者利用服务器发送任意的请求到内部系统。在这种情况下，攻击者可能会利用SSRF漏洞来尝试未授权访问目标服务器上的Redis服务。如果Redis没有设置适当的保护措施，攻击者可以通过发送特制的请求获取到服务器的敏感文件，进而实现未授权的文件读取或getshell。

解决这个问题通常涉及以下几个方面：

更新Redis到最新版本，因为一些新版本可能已经内置了防御措施。
配置Redis，使其不监听外部接口或者限制可访问的IP地址。
如果Redis需要从外部访问，使用防火墙规则来限制哪些服务可以连接到Redis服务器。
对于SSRF漏洞，应该修复或避免使用SSRF功能，或者在服务器上实施更严格的输入验证。

如果你是开发者，以下是一个简单的示例代码来避免SSRF攻击：




import requests
 
def fetch_url(url):
    # 只允许请求本地地址
    if not url.startswith('http://localhost') and not url.startswith('http://127.0.0.1'):
        return "Invalid URL"
    
    response = requests.get(url)
    return response.text
 
# 使用示例
url = "http://example.com"
content = fetch_url(url)
print(content)

在这个示例中，我们检查URL是否以http://localhost或http://127.0.0.1开头，只有当URL符合这个条件时才会进行请求。这样可以防止SSRF攻击利用服务端发起的请求进行攻击。

- 阅读更多 -

PostgreSQL系列- 6 - PgBouncer连接池

System

2024-09-09

所有,数据库

PgBouncer是一个轻量级的数据库连接池，用于PostgreSQL数据库。它可以有效地减少数据库的连接数，提高性能，并提供其他管理功能，如用户认证，限制等。

以下是一个简单的PgBouncer配置示例：




[databases]
mydb = host=127.0.0.1 port=5432 dbname=mydb
 
[pgbouncer]
listen_port = 6432
listen_addr = 127.0.0.1
auth_type = md5
auth_file = /etc/pgbouncer/userlist.txt
logfile = /var/log/pgbouncer/pgbouncer.log
pidfile = /var/run/pgbouncer/pgbouncer.pid
 
[users]
testuser = mypassword

在这个配置中，我们定义了一个名为mydb的数据库，指定了连接到的PostgreSQL服务器地址和端口，以及数据库名。然后，我们设置了PgBouncer本身监听的地址和端口。认证类型设置为MD5，并指定了包含用户名和密码的文件。日志文件和PID文件也被设置。

要启动PgBouncer，只需运行pgbouncer /etc/pgbouncer/pgbouncer.ini，并确保在userlist.txt中指定的用户具有适当的权限。

连接到PgBouncer的示例代码（使用psycopg2库）：




import psycopg2
 
# PgBouncer connection settings
pgbouncer_conn_string = "dbname=mydb user=testuser host=127.0.0.1 port=6432 password=mypassword"
 
# Connect to PgBouncer
conn = psycopg2.connect(pgbouncer_conn_string)
 
# Perform operations using the connection...
cur = conn.cursor()
cur.execute("SELECT version();")
row = cur.fetchone()
print(row)
 
# Close the connection
cur.close()
conn.close()

在这个Python示例中，我们使用Psycopg2库连接到PgBouncer。连接字符串指定了数据库名，用户，PgBouncer的主机地址和端口，以及用户密码。然后，我们执行一个查询以获取PostgreSQL的版本信息，并在最后关闭连接。

- 阅读更多 -