Tech Blog

Nginx: 配置项之http模块connection和request的用法以及limit_conn和limit_req模块

2024-09-03

Nginx的http模块中包含了connection和request的配置，用以限制连接和请求的数量，防止过多的负载。

limit_conn_zone和limit_conn：

limit_conn_zone用来设置一个变量，这个变量的值是key，通常是用户的IP地址。limit_conn用来设置允许同时连接的最大数量。

例如，限制每个IP同时连接的数量为1：




http {
    limit_conn_zone $binary_remote_addr zone=addr:10m;
 
    server {
        ...
        location / {
            limit_conn addr 1;
            ...
        }
    }
}

limit_req_zone和limit_req：

limit_req_zone用来设置一个变量，这个变量的值是key，通常是用户的IP地址。limit_req用来设置允许的请求频率。

例如，限制每个IP每秒钟的请求数不超过1个：




http {
    limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
 
    server {
        ...
        location / {
            limit_req zone=one burst=5;
            ...
        }
    }
}

在这个例子中，burst=5表示允许在超出平均速率后的额外请求数不超过5个。

以上是limit_conn和limit_req的基本用法，可以根据实际需求进行更复杂的配置。

System

2024-09-03

所有,java




import org.springdoc.core.GroupedOpenApi;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Profile;
 
@Configuration
public class SpringDocConfig {
 
    @Bean
    public GroupedOpenApi publicApi() {
        return GroupedOpenApi.builder()
                .group("public")
                .pathsToMatch("/api/v1/**")
                .build();
    }
 
    @Bean
    @Profile("!test") // 排除测试环境
    public GroupedOpenApi privateApi() {
        return GroupedOpenApi.builder()
                .group("private")
                .pathsToMatch("/api/v1/admin/**")
                .build();
    }
}

这个配置类定义了两个GroupedOpenApi beans，分别对应"/api/v1/"下的公共接口和"/api/v1/admin/"下的私有接口。通过@Profile注解，我们可以在不同的环境（如生产和测试）中启用或禁用特定的GroupedOpenApi配置。这样做既保证了文档的安全性，也提高了文档的可维护性。

- 阅读更多 -

Spring Cloud Gateway实战之二：更多路由配置方式

System

2024-09-03

所有,java




import org.springframework.cloud.gateway.route.RouteLocator;
import org.springframework.cloud.gateway.route.builder.RouteLocatorBuilder;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
 
@Configuration
public class GatewayRoutes {
 
    @Bean
    public RouteLocator customRouteLocator(RouteLocatorBuilder builder) {
        return builder.routes()
                .route("path_route", r -> r.path("/get")
                        .uri("http://httpbin.org"))
                .route("host_route", r -> r.host("*.myhost.org")
                        .uri("http://httpbin.org"))
                .route("query_route", r -> r.query("foo")
                        .uri("http://httpbin.org"))
                .route("method_route", r -> r.method("POST")
                        .uri("http://httpbin.org"))
                .route("header_route", r -> r.header("X-Request-Id")
                        .uri("http://httpbin.org"))
                .route("rewrite_route", r -> r.host("*.rewrite.org")
                        .filters(f -> f.rewritePath("/foo/(?<segment>.*)", "/${segment}"))
                        .uri("http://httpbin.org"))
                .build();
    }
}

这段代码定义了一个自定义的路由定位器，其中包含了不同类型的路由配置，如路径路由、主机路由、查询参数路由、HTTP方法路由、头部路由和URL重写路由。这些配置可以根据实际需求进行调整和组合，以实现更复杂的路由规则。

- 阅读更多 -

window环境下Redis7服务器的安装和运行

System

2024-09-03

所有,redis

在Windows环境下安装和运行Redis服务器的步骤如下：

下载Redis for Windows:
访问Redis官方GitHub仓库或其他可信的资源下载页面，选择Windows平台的Redis版本。
解压Redis压缩包:
将下载的Redis压缩包解压到你选择的目录。
运行Redis服务器:
打开命令提示符（CMD）或PowerShell，导航到Redis解压目录，运行以下命令启动Redis服务器：
```
redis-server.exe redis.windows.conf
```
验证Redis服务器运行:
打开另一个命令提示符窗口，同样导航到Redis目录，运行以下命令来检查Redis服务器是否正在运行：
```
redis-cli.exe -p 6379
```
如果Redis正在运行，它将连接到服务器，你可以输入ping来测试响应。
配置Redis服务:
如果你想将Redis设置为Windows服务，可以使用redis-server --service-install命令安装服务，使用redis-server --service-uninstall命令来卸载服务。

以上步骤提供了基本的Redis服务器安装和运行方法。如果需要更复杂的配置，你可以编辑redis.windows.conf文件来满足你的需求。

- 阅读更多 -

第二章：Django的深度潜行

System

2024-09-03

所有,数据库

这个问题似乎是指在Django框架中进行深度学习模型的部署或者使用。Django是一个开放源代码的Web应用框架，可以用于快速开发和部署Web应用。而深度学习模型通常需要大量的计算资源和高性能的处理器。

在Django中部署深度学习模型，你需要做以下几个步骤：

安装Django和必要的库：




pip install django
pip install tensorflow (or any other deep learning framework you are using)

创建Django项目和应用：




django-admin startproject myproject
python manage.py startapp myapp

在Django应用中导入深度学习模型，并创建视图来处理模型的预测或其他逻辑：




# views.py
from django.http import JsonResponse
from .models import MyModel
 
def predict(request):
    # 获取输入数据
    data = json.loads(request.body)
    # 使用模型进行预测
    prediction = MyModel.predict(data['input'])
    return JsonResponse({'output': prediction})

配置urls.py来使得视图可以通过HTTP请求访问：




# urls.py
from django.urls import path
from .views import predict
 
urlpatterns = [
    path('predict/', predict, name='predict'),
]

部署应用，可以使用Django自带的服务器进行开发测试，或者部署到生产环境（例如使用uWSGI和Nginx）。

请注意，这只是一个简化的示例，实际部署时需要考虑更多的因素，如模型的大小、并发处理、安全性等。此外，深度学习模型的部署还需要更多的上下文信息，例如模型的输入输出格式、资源限制、用户权限等。

- 阅读更多 -

SpringCloud：微服务保护之雪崩问题及解决方案

System

2024-09-03

所有,java

雪崩效应是微服务架构中一个常见问题，它指的是一个服务失败，导致用户请求堆积，最终导致系统崩溃。雪崩效应可以通过几种方式来缓解：

断路器模式（Circuit Breaker Pattern）: 当某微服务调用失败率过高时，自动切断一段时间的服务调用，暂停一段时间后会尝试恢复服务。
负载均衡器的隔离：如使用Netflix Hystrix，可以为不同的服务分配不同的线程池，防止某一服务的故障影响整个系统。
超时机制：设置服务调用的超时时间，避免因为某个服务响应变慢而影响整体系统。
服务降级：非核心服务请求量大时，可以暂时关闭一些非核心服务，避免资源耗尽。

在Spring Cloud中，可以使用Hystrix来实现断路器模式，以下是一个简单的示例：




@Configuration
public class HystrixConfig {
 
    @Bean
    public HystrixCommandAspect hystrixCommandAspect() {
        return new HystrixCommandAspect();
    }
}
 
@Service
public class MyService {
 
    @HystrixCommand(fallbackMethod = "fallbackMethod")
    public String serviceCall(String param) {
        // 调用微服务逻辑
    }
 
    public String fallbackMethod(String param) {
        // 当serviceCall失败时，执行的方法
        return "fallback response";
    }
}

在这个例子中，@HystrixCommand 注解标记的方法是可被Hystrix保护的。如果被保护的方法失败，则Hystrix会执行指定的 fallback 方法。这样可以防止雪崩效应的发生。

System

2024-09-03

所有,java




@EnableWebFluxSecurity
public class SecurityConfig {
 
    @Bean
    public SecurityWebFilterChain springSecurityWebFilterChain(ServerHttpSecurity http) {
        http
            // ... 其他配置 ...
            .authorizeExchange(exchanges ->
                exchanges
                    .anyExchange().access(authorizeExchangeSpec ->
                        authorizeExchangeSpec
                            .requestMatchers(EndpointRequest.to("login", "oauth2-redirect")).permitAll()
                            .anyExchange().access(new AuthorizationManager())
                    )
            )
            // ... 其他配置 ...
        ;
        return http.build();
    }
 
    @Bean
    public ReactiveJwtDecoder jwtDecoder(ReactiveOAuth2AuthorizedClientService clientService) {
        return JwtDecoders.fromOidcIssuerLocation(issuerUri);
    }
}
 
public class AuthorizationManager implements ReactiveAuthorizationManager<AuthorizationContext> {
 
    private final ReactiveOAuth2AuthorizedClientService clientService;
 
    public AuthorizationManager(ReactiveOAuth2AuthorizedClientService clientService) {
        this.clientService = clientService;
    }
 
    @Override
    public Mono<AuthorizationDecision> check(Mono<Authentication> authentication, AuthorizationContext context) {
        return authentication
            .flatMap(auth -> clientService.loadAuthorizedClient(
                auth.getName(),
                clientRegistrationId,
                (OAuth2AuthorizedClient authorizedClient) -> context.getExchange()
                    .getRequest()
                    .mutate()
                    .header(HttpHeaders.AUTHORIZATION, "Bearer " + authorizedClient.getAccessToken().getTokenValue())
                    .build()
            ))
            .map(authorizedClient -> new AuthorizationDecision(true))
            .onErrorReturn(new AuthorizationDecision(false));
    }
}

在这个代码实例中，我们定义了一个SecurityConfig类，它使用Spring Security的WebFlux配置了Spring Cloud Gateway的安全性。我们创建了一个ServerHttpSecurity的实例，并通过authorizeExchange方法配置了路由的权限。我们还定义了一个AuthorizationManager类，它使用ReactiveOAuth2AuthorizedClientService来检查用户是否有权访问特定的路由。如果用户已经被授权，则原始请求会被修改，添加了一个包含访问令牌的Authorization头部。

- 阅读更多 -

Spring Boot中的yaml配置简介

System

2024-09-03

所有,java

Spring Boot使用Spring Framework的配置抽象，并且引入了一个新的文件格式YAML（YAML Ain't Markup Language）来替代传统的properties文件。YAML是一种人类可读和编写的数据序列化格式，它通常用于配置文件。

以下是Spring Boot中使用YAML配置的一些基本概念和示例：

配置属性的层次结构：
YAML允许你创建分层配置，这使得配置文件更加易读和易于维护。




server:
  port: 8080
  servlet:
    context-path: /myapp

使用Spring Expression Language (SpEL)：
你可以在YAML配置中使用SpEL来引用Beans或者进行复杂的配置。




my:
  user: ${random.value}
  servers: ${random.int(1,5)}

列表和数组：
YAML可以表示列表和数组，可以使用-开头的行来表示数组或列表中的元素。




fruits:
  - Apple
  - Banana
  - Cherry

加载配置：
在Spring Boot应用中，可以使用@Value注解或者配置绑定的方式来加载YAML配置。




@Component
@ConfigurationProperties(prefix="my")
public class MyProperties {
    private String user;
    private int servers;
    // getters and setters
}

引入外部配置：
可以使用profiles或者Spring的环境抽象来引入外部配置文件。




spring:
  profiles: dev
server:
  port: 8080
 
---

spring:
  profiles: prod
server:
  port: 80

运行应用程序时，可以使用--spring.profiles.active=dev来激活开发环境配置。

以上是Spring Boot中YAML配置的基本概念和示例，实际应用中可以根据具体需求进行更复杂的配置。

- 阅读更多 -

深入浅出 Django 异步编程

System

2024-09-03

所有,数据库

在Django中实现异步编程，可以使用celery这个库。以下是一个简单的例子：

首先，安装celery和相关的消息队列库，比如RabbitMQ或Redis：




pip install celery
pip install redis  # 如果使用Redis作为消息队列

然后，在Django项目的根目录下创建一个名为celery.py的文件，并配置celery：




# celery.py
 
from __future__ import absolute_import, unicode_literals
from celery import Celery
from django.conf import settings
 
app = Celery('myproject')
 
app.config_from_object('django.conf:settings', namespace='CELERY')
 
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

在settings.py中添加配置：




# settings.py
 
CELERY_BROKER_URL = 'redis://localhost:6379/0'  # 使用Redis作为消息队列
CELERY_RESULT_BACKEND = 'redis://localhost:6379/0'

接下来，在任何Django app中创建一个名为tasks.py的文件，并编写异步任务：




# myapp/tasks.py
 
from __future__ import absolute_import, unicode_literals
from celery import shared_task
 
@shared_task
def add(x, y):
    return x + y

最后，在视图中调用异步任务：




# myapp/views.py
 
from .tasks import add
 
def my_view(request):
    add.delay(4, 4)  # 异步执行加法操作
    return HttpResponse('Task queued.')

当调用add.delay(4, 4)时，add任务会被Celery放入消息队列，并异步执行。这样，Django就可以实现异步编程，不会阻塞HTTP请求。

- 阅读更多 -

7.PostgreSQL物理结构-逻辑结构相关概念

System

2024-09-03

所有,数据库

PostgreSQL的物理结构和逻辑结构是密切相关的。物理结构指的是数据在磁盘上的存储方式，而逻辑结构则是数据库内部组织数据的方式。

物理结构主要包括以下几个部分：

数据文件：存储表和索引等数据的文件，通常以.db、.dat或.index等形式存在。
日志文件：记录数据库的所有修改操作，用于恢复和复制。
控制文件：记录数据库系统的配置和状态信息。
参数文件：记录数据库服务器的配置参数。

逻辑结构主要通过SQL层面的概念来理解：

表（Table）：数据存储的基本单元。
索引（Index）：提高查询性能的数据结构。
视图（View）：基于SQL查询的虚拟表。
序列（Sequence）：生成序列号。
数据库（Database）：包含表和其他对象的容器。

这些概念在物理存储和逻辑表示之间通过PostgreSQL的系统表、索引、视图等机制相互关联。

例如，创建一个简单的表：




CREATE TABLE example_table (
    id SERIAL PRIMARY KEY,
    name VARCHAR(100),
    created_at TIMESTAMP WITH TIME ZONE DEFAULT CURRENT_TIMESTAMP
);

在物理层面，这将会创建一个表的文件，并且可能还会有相应的索引文件。在逻辑层面，它定义了一个包含三个字段的表，其中一个是自增的序列字段，另外两个是字符串和时间戳字段。

- 阅读更多 -