Tech Blog

2024-09-03

解释：

在PostgreSQL中，如果尝试插入的记录中包含一个自增的主键值，而该值与序列（sequence）中的当前值不匹配，或者该值与现有表中已有的主键值重复，将会引发一个错误，因为这违反了主键的唯一性约束。

解决方法：

如果你正在尝试插入一个具体的主键值，请确保该值在表中是唯一的，并且没有被使用过。
如果你想让PostgreSQL自动为你生成主键值，那么在插入记录时不要指定主键列的值，让数据库自动通过序列为其分配一个新的唯一值。
如果你是在尝试插入一批数据，并且需要保留原始主键值，可以先禁用自增约束，插入数据后再启用。

示例代码：




-- 插入新记录时不指定主键，让PostgreSQL自动分配
INSERT INTO your_table (column1, column2) VALUES ('value1', 'value2');
 
-- 或者，如果你需要插入具体的主键值，确保它是唯一的
INSERT INTO your_table (id, column1, column2) VALUES (specific_id, 'value1', 'value2');
 
-- 禁用自增约束
ALTER TABLE your_table ALTER COLUMN id SET NOT FOR EACH TABLE;
-- 插入数据
INSERT INTO your_table (id, column1, column2) VALUES (specific_id, 'value1', 'value2');
-- 重新启用自增约束
ALTER TABLE your_table ALTER COLUMN id SET DEFAULT nextval('your_sequence_name');

请根据实际情况选择适当的解决方案。

Redis过期策略

2024-09-03

所有,redis

Redis的过期策略主要是通过定时任务、惰性删除和定期删除三种方式来管理键的生命周期。

定时任务：为每个设置了过期时间的键创建一个定时器，一旦过期就立即删除。但是这种方式可能会消耗大量的CPU资源，因此Redis默认不使用这种策略。
惰性删除：只有在访问键时，才会检查键是否过期，过期则删除。这种方式可以最大程度地节省CPU资源，但可能会导致大量的过期键没有被及时删除，占用较多内存。
定期删除：每隔一段时间随机抽查一些键，删除其中已经过期的键。这种方式是前两种方式的折衷，既减少了CPU资源消耗，又减少了内存占用。

Redis的过期策略主要通过配置文件中的以下参数来控制：

hz：表示执行定期删除操作的频率，默认为10，即每秒钟执行10次定期删除。
active-expire-effort：表示进行主动过期扫描的百分比，默认为25。

例如，要设置Redis的过期策略，可以在redis.conf文件中进行如下配置：




hz 10
active-expire-effort 25

在实际应用中，通常不需要手动修改这些配置，因为Redis会根据服务器的负载自动调整这些参数。如果确实需要手动调整，应该根据实际情况进行分析，以达到最佳的性能表现。

Django+https 访问配置

2024-09-03

为了在Django中配置HTTPS访问，你需要进行以下步骤：

获取SSL证书。
配置Django项目以使用证书。
更新你的Web服务器（例如Nginx或Apache）配置以反映这些更改。

获取SSL证书

你可以通过以下几种方式获取SSL证书：

购买商业SSL证书。
使用Let's Encrypt提供的免费证书。

配置Django项目

在你的settings.py文件中，确保设置了SECURE_SSL_REDIRECT：




# settings.py
SECURE_SSL_REDIRECT = True
SECURE_PROXY_SSL_HEADER = ('HTTP_X_FORWARDED_PROTO', 'https')

更新Web服务器配置

以Nginx为例，你需要在服务器配置中添加以下内容：




# nginx.conf 或特定站点的配置文件
server {
    listen 80;
    server_name example.com;
    return 301 https://$server_name$request_uri;
}
 
server {
    listen 443 ssl;
    server_name example.com;
 
    ssl_certificate /path/to/your/fullchain.pem;
    ssl_certificate_key /path/to/your/privatekey.pem;
 
    # 其他配置...
}

确保替换/path/to/your/fullchain.pem和/path/to/your/privatekey.pem为你的证书和密钥的实际路径。

其他注意事项

确保你的Django项目配置了SESSION_COOKIE_SECURE 和 CSRF_COOKIE_SECURE 为True。
更新任何静态文件的URL，使其使用HTTPS。
测试你的配置，确保HTTPS工作正常，并且没有重定向问题。

mongodb内存占用过高处理

2024-09-03

MongoDB的内存占用过高可能是因为以下原因：

数据量大，导致需要更多内存来缓存数据。
查询或索引设计不当，导致内存使用过度。
配置不当，如wiredTigerCacheSizeGB设置不合理。
存在内存泄漏。

解决方法：

增加服务器内存。
优化数据模型，减少不必要的数据大小。
调整MongoDB的配置，如减少wiredTigerCacheSizeGB的值。
定期重启MongoDB服务，释放内存。
升级到最新版本的MongoDB，以获取性能改进和内存管理改进。
使用MongoDB的诊断工具，如mongostat和mongotop，监控内存使用情况。
检查是否存在已知的内存泄漏问题，并应用相应的补丁或者升级。

在处理内存问题时，应该根据具体情况采取相应的措施。

Spring Boot中最佳实践：数据源配置详解

2024-09-03

所有,java




import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.boot.jdbc.DataSourceBuilder;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import javax.sql.DataSource;
 
@Configuration
public class DataSourceConfig {
 
    @Bean
    @ConfigurationProperties(prefix = "spring.datasource")
    public DataSource dataSource() {
        return DataSourceBuilder.create().build();
    }
}

这段代码演示了如何在Spring Boot应用程序中配置数据源。@ConfigurationProperties注解用于将配置文件（application.properties或application.yml）中的属性绑定到DataSource的相应属性。DataSourceBuilder则用于创建数据源实例。这是一个简洁且高效的配置方法，它遵循了Spring Boot中推荐的配置方式。

Python3 加密服务

2024-09-03

所有,python

为了提供一个Python3加密服务的解决方案，我们可以使用cryptography库来创建一个简单的密码加密功能。以下是一个示例代码：

首先，确保安装了cryptography库：




pip install cryptography

然后，使用以下代码进行加密：




from cryptography.fernet import Fernet
 
# 生成一个密钥
key = Fernet.generate_key()
 
# 使用密钥创建一个Fernet对象
cipher_suite = Fernet(key)
 
# 需要加密的消息
message = b"这是一个需要加密的消息"
 
# 加密消息
encrypted_message = cipher_suite.encrypt(message)
print(f"加密的消息: {encrypted_message}")
 
# 解密消息
decrypted_message = cipher_suite.decrypt(encrypted_message)
print(f"解密的消息: {decrypted_message}")

这段代码展示了如何使用cryptography.fernet模块进行简单的加密和解密。Fernet.generate_key()函数用于生成一个密钥，Fernet()类用这个密钥初始化一个加密器。encrypt()方法用于加密消息，而decrypt()方法用于解密消息。这里的消息必须是二进制数据，所以我们使用b""前缀来指定字符串是二进制数据。

2024-09-03

错误解释：

这个错误表明Homebrew尝试安装或更新PostgreSQL时遇到了问题。具体来说，是因为Homebrew中关于PostgreSQL的软件包的标签（bottle tag）无效。在Homebrew中，bottled formula是预编译的软件包，带有与你的操作系统架构和版本相匹配的预编译二进制文件。bottle tag通常包含操作系统的名称和版本，例如m1代表Mac的M1芯片架构。

解决方法：

更新Homebrew到最新版本：
```
brew update
brew upgrade
```
清除Homebrew缓存：
```
brew cleanup
```
如果问题依旧存在，尝试修改.bash_profile、.zshrc或其他shell配置文件中的Homebrew镜像源为官方默认源，或者选择一个更快的镜像。
如果你使用的是不支持的Mac硬件或操作系统版本，尝试安装支持你硬件和操作系统版本的PostgreSQL版本。
如果以上步骤都不能解决问题，可以尝试手动编译安装PostgreSQL：
```
brew install --build-from-source postgresql
```

确保在执行这些步骤时，你的网络连接是稳定的，并且你有足够的权限来执行Homebrew命令（可能需要管理员权限）。

2024-09-03

所有,java

在Spring Cloud微服务中集成SkyWalking进行分布式跟踪，你需要做以下几个步骤：

在你的Spring Cloud项目中添加SkyWalking客户端依赖。
配置SkyWalking客户端，在application.yml或application.properties中设置SkyWalking的后端地址。
重新编译并启动你的微服务，SkyWalking将会自动接入并开始跟踪。

以下是Maven的pom.xml中添加SkyWalking客户端依赖的示例：




<dependencies>
    <!-- SkyWalking客户端依赖 -->
    <dependency>
        <groupId>org.apache.skywalking</groupId>
        <artifactId>apm-toolkit-trace</artifactId>
        <version>版本号</version>
    </dependency>
</dependencies>

接下来是application.yml中添加SkyWalking配置的示例：




spring:
  application:
    name: my-spring-cloud-service
 
# SkyWalking相关配置
agent:
  serviceName: ${spring.application.name}
  agentId: ${spring.application.name}
  applicationInstanceId: ${spring.application.name}:${spring.application.instance_id:${random.value}}
  spanLimitPerSegment: 300
  ignoreSuffix:
    - .jpg
    - .jpeg
    - .js
    - .css
    - .png
    - .gif
    - .ico
    - .woff
    - .woff2
    - .ttf
  active: true
  plugin:
    mysql:
      author: Apache SkyWalking
      slave:
        check: true
        filter:
          sql:
            include: BUSY,ERROR
    redis:
      author: Apache SkyWalking
      listener:
        host-port: ${spring.redis.host}:${spring.redis.port}
        db: ${spring.redis.database}
        password: ${spring.redis.password}

请注意，你需要替换版本号为实际使用的SkyWalking客户端版本，并根据你的服务和数据库配置调整application.yml中的Redis插件配置。

最后，确保启动你的微服务时，Java Agent被正确传递到JVM参数中，例如：




java -javaagent:/path/to/skywalking-agent.jar -jar your-spring-cloud-service.jar

替换/path/to/skywalking-agent.jar为你的SkyWalking代理的实际路径。

以上步骤完成后，你的Spring Cloud微服务将会接入SkyWalking进行分布式跟踪。通过SkyWalking UI，你可以查看服务间的调用关系、追踪数据和日志，从而进行微服务的监控和问题诊断。

Mybatis 一次性跑多条sql语句

2024-09-03

所有,java

MyBatis 允许你在一次会话中运行多条 SQL 语句。你可以通过在映射器接口中定义多个方法，每个方法对应一条 SQL 语句，或者使用@Update注解来执行多条 SQL 语句。

以下是一个使用映射器接口执行多条 SQL 语句的示例：




public interface YourMapper {
    @Update("UPDATE your_table SET column1 = value1 WHERE condition1;")
    void updateFirstStatement();
 
    @Update("DELETE FROM your_table WHERE condition2;")
    void deleteSecondStatement();
 
    @Update("INSERT INTO your_table (column2, column3) VALUES (value2, value3);")
    void insertThirdStatement();
}

在你的服务层，你可以调用这些方法来执行定义的 SQL 语句：




@Service
public class YourService {
 
    @Autowired
    private YourMapper yourMapper;
 
    public void executeMultipleStatements() {
        yourMapper.updateFirstStatement();
        yourMapper.deleteSecondStatement();
        yourMapper.insertThirdStatement();
    }
}

如果你想在一个方法中执行多条 SQL 语句，你可以使用@Transactional注解来保证这些操作在同一个事务中执行。




@Service
public class YourService {
 
    @Autowired
    private SqlSessionFactory sqlSessionFactory;
 
    @Transactional
    public void executeMultipleStatementsInOneTransaction() {
        try (SqlSession sqlSession = sqlSessionFactory.openSession()) {
            Connection connection = sqlSession.getConnection();
            Statement statement = connection.createStatement();
 
            statement.executeUpdate("UPDATE your_table SET column1 = value1 WHERE condition1");
            statement.executeUpdate("DELETE FROM your_table WHERE condition2");
            statement.executeUpdate("INSERT INTO your_table (column2, column3) VALUES (value2, value3)");
 
            // No need to call sqlSession.commit() because of @Transactional
        }
    }
}

确保你的方法在执行这些操作时处理了相关的异常，并且在方法结束时关闭了资源（例如：使用了 try-with-resources 语句）。

Django 的 REST framework 基础知识

2024-09-03

Django REST framework 是一个建立在Django基础上的Web服务API工具。以下是一些基础概念和示例代码：

序列化: 将模型转换为JSON，以便可以通过API进行交互。




from rest_framework import serializers
from myapp.models import MyModel
 
class MyModelSerializer(serializers.ModelSerializer):
    class Meta:
        model = MyModel
        fields = '__all__'

视图: 定义如何处理不同的HTTP请求。




from rest_framework import generics
 
class MyModelListView(generics.ListAPIView):
    queryset = MyModel.objects.all()
    serializer_class = MyModelSerializer

视图集: 用于更快创建复杂API的工具。




from rest_framework import viewsets
 
class MyModelViewSet(viewsets.ModelViewSet):
    queryset = MyModel.objects.all()
    serializer_class = MyModelSerializer

路由: 确保URLs指向正确的视图。




from django.urls import path, include
from rest_framework.routers import DefaultRouter
from myapp.views import MyModelListView, MyModelViewSet
 
router = DefaultRouter()
router.register(r'mymodel', MyModelViewSet)
 
urlpatterns = [
    path('', include(router.urls)),
    path('mymodel/list/', MyModelListView.as_view()),
]

认证和权限: 确保只有授权用户可以访问API。




REST_FRAMEWORK = {
    'DEFAULT_AUTHENTICATION_CLASSES': (
        'rest_framework.authentication.TokenAuthentication',  # 使用Token认证
    ),
    'DEFAULT_PERMISSION_CLASSES': (
        'rest_framework.permissions.IsAuthenticated',  # 仅授权用户可访问
    ),
}

过滤、搜索、分页: 提高查询的灵活性。




from rest_framework.filters import SearchFilter, OrderingFilter
from rest_framework.pagination import PageNumberPagination
 
class MyModelListView(generics.ListAPIView):
    queryset = MyModel.objects.all()
    serializer_class = MyModelSerializer
    filter_backends = [SearchFilter, OrderingFilter]
    search_fields = ['name', 'description']
    ordering_fields = ['name', 'created_at']
    pagination_class = PageNumberPagination

这些是Django REST framework中的基础概念和示例代码。它们展示了如何创建序列化器、视图、路由、认证、权限、过滤、搜索和分页，以构建功能齐全的API。