分类后端技术下的文章

spring boot集成canal实现数据库同步，且mysql主库宕机canal自动切换到从库

2024-09-06

Spring Boot 整合 Canal 实现数据库同步，并在 MySQL 主库宕机时自动切换到从库，可以通过以下步骤实现：

配置 Canal 服务器，确保它能监听到主库的变更事件。
在 Spring Boot 应用中配置 Canal 客户端，连接到 Canal 服务器。
监听 Canal 服务器的变更事件，并在主库宕机时切换到从库。

以下是一个简化的示例代码：

配置 Canal 客户端：




canal:
  host: canal服务器地址
  port: 11111
  destination: example
  username: canal
  password: canal

Canal 监听器配置：




@Component
@Slf4j
public class DataChangeListener {
 
    @Autowired
    private CanalConnector connector;
 
    @PostConstruct
    public void start() {
        connector.connect();
        connector.subscribe();
        new Thread(this::listen).start();
    }
 
    private void listen() {
        while (true) {
            try {
                Message message = connector.getWithoutAck(1024); // 获取指定数量的数据
                long batchId = message.getId();
                if (batchId == -1 || message.getEntries().isEmpty()) {
                    // 没有数据或者已经获取完毕
                    Thread.sleep(1000);
                } else {
                    // 处理数据变更事件
                    for (Entry entry : message.getEntries()) {
                        if (EntryType.ROWDATA == entry.getEntryType()) {
                            // 对事件进行处理
                        }
                    }
                    connector.ack(batchId); // 确认消息已被处理
                }
            } catch (Exception e) {
                log.error("处理数据变更事件失败", e);
            }
        }
    }
}

主库宕机时切换逻辑：




public class CanalClient {
 
    private CanalConnector connector;
 
    public void connect(String host, int port, String destination) {
        connector = new CanalConnector(destination, host, port, "", "");
        connector.connect();
        connector.subscribe();
    }
 
    public void switchToSlave() {
        // 主库宕机时，切换到从库的逻辑
        // 可能需要重新配置连接信息，并重新调用 connect 方法
    }
 
    public void start() {
        while (true) {
            try {
                Message message = connector.getWithoutAck(1024); // 获取指定数量的数据
                if (message.getEntries().is

- 阅读更多 -

IDEA2023.1.4配置JavaWeb项目（JSP + Tomcat）

System

2024-09-06

所有,java

在IntelliJ IDEA 2023.1.4中配置Java Web项目，你需要安装Java Development Kit (JDK)，配置好环境变量，并安装Apache Tomcat。以下是配置步骤的简要说明和示例：

安装JDK:
- 访问Oracle官网或者OpenJDK官网下载相应版本的JDK。
- 安装JDK，并配置JAVA_HOME环境变量指向JDK安装目录。
安装Apache Tomcat:
- 访问Apache Tomcat官网下载Tomcat。
- 解压Tomcat到指定目录。
- 配置CATALINA_HOME环境变量指向Tomcat安装目录。
打开IntelliJ IDEA，创建新项目:
- 选择"Create New Project"。
- 选择"Java Enterprise"。
- 选择"Web Application"并配置项目SDK、版本、以及Web框架（如Servlet）。
- 完成项目创建并等待IDE索引完成。
配置Tomcat:
- 打开"Run"菜单选择"Edit Configurations"。
- 点击"+"，选择"Tomcat Server"下的"Local"。
- 在"Server"选项卡中配置Tomcat服务器的路径，并创建一个新的部署。
- 在"Deployment"选项卡中配置Artifact。
编写JSP页面:
- 在web/WEB-INF/web.xml中配置JSP Servlet。
- 在web目录下创建JSP文件，例如index.jsp。
运行项目:
- 点击运行配置中的"Run"按钮，启动Tomcat服务器。
- 浏览器中访问http://localhost:8080查看JSP页面。

示例代码（web/WEB-INF/web.xml）:




<web-app xmlns="http://xmlns.jcp.org/xml/ns/javaee"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee
                      http://xmlns.jcp.org/xml/ns/javaee/web-app_4_0.xsd"
         version="4.0">
 
  <servlet>
    <servlet-name>jsp</servlet-name>
    <servlet-class>org.apache.jasper.servlet.JspServlet</servlet-class>
  </servlet>
 
  <servlet-mapping>
    <servlet-name>jsp</servlet-name>
    <url-pattern>*.jsp</url-pattern>
  </servlet-mapping>
 
</web-app>

示例代码（web/index.jsp）:




<%@ page contentType="text/html;charset=UTF-8" language="java" %>
<html>
<head>
    <title>Hello JSP</title>
</head>
<body>
    <h1>Hello, World from JSP!</h1>
</body>
</html>

以上步骤和示例代码提供了一个基本的Java Web项目配置流程，包括JDK、Tomcat的安装和配置，以及一个简单的JSP页面的创建和运行。

- 阅读更多 -

linux下定时任务执行cron和日志转出logrotate

System

2024-09-06

所有,数据库

在Linux下，可以使用cron来定期执行任务，而logrotate用于自动轮转、压缩、删除、和邮寄日志文件。

使用`cron`执行定时任务

编辑crontab文件：




crontab -e

添加定时任务，例如每天凌晨1点执行脚本：




0 1 * * * /path/to/your/script.sh

保存并退出编辑器。

示例`script.sh`脚本：




#!/bin/bash
echo "Task executed at $(date)" >> /path/to/your/logfile.log

确保script.sh有执行权限：




chmod +x /path/to/your/script.sh

配置`logrotate`

创建或编辑logrotate配置文件，通常位于/etc/logrotate.d/目录下，例如myapp-logrotate:




nano /etc/logrotate.d/myapp-logrotate

添加配置，例如每天轮转一次日志，保留7天的日志：




/path/to/your/logfile.log {
    daily
    rotate 7
    compress
    missingok
    notifempty
    create 640 root admin
}

保存文件并退出编辑器。

logrotate会根据配置自动处理日志文件，包括轮转、压缩、删除等。

- 阅读更多 -

postgresql内核源码分析-删除表drop table流程

System

2024-09-06

所有,数据库

在PostgreSQL中，删除表的操作是通过DropTable函数来完成的。以下是该函数的核心逻辑：




void
DropTable(DropStmt *stmt)
{
    DropTableInt(stmt, false);
}
 
static void
DropTableInt(DropStmt *stmt, bool concurrent)
{
    ...
    // 检查是否存在依赖关系，如果有则抛出错误
    checkDropRelStorage(relPersistence, nspname, stmt->arguments);
 
    // 如果表存在，则删除表和相关的对象（例如索引、默认值等）
    if (relPersistence == RELPERSISTENCE_TEMP)
        RemoveTempTable(nspname, stmt->arguments);
    else
        RemoveRelations(stmt);
    ...
}
 
static void
RemoveRelations(DropStmt *stmt)
{
    ...
    // 对于每个要删除的表，执行删除操作
    foreach(cell, stmt->objects)
    {
        DropObjectDetails *details = (DropObjectDetails *)lfirst(cell);
        RangeVar   *rel = details->object;
 
        // 查找并删除表
        removeObject(rel, stmt->behavior, stmt->missing_ok, stmt->concurrent);
        ...
    }
    ...
}
 
static void
removeObject(RangeVar *rel, DropBehavior behavior, bool missing_ok, bool concurrent)
{
    ...
    // 获取并锁定表的描述信息
    relId = RangeVarGetRelid(rel, AccessExclusiveLock, stmt->missing_ok);
    ...
    // 删除表和相关的数据字典项
    performDeletion(relId, behavior, rel->schemaname, concurrent);
    ...
}
 
static void
performDeletion(Oid objectId, DropBehavior behavior, const char *schemaName, bool concurrent)
{
    ...
    // 执行删除表的SQL命令
    object_access_hook_type = OBJECT_ACCESS_DELETE;
    PG_TRY();
    {
        heap_drop_with_catalog(relRelation, objectId, behavior);
        ...
    }
    ...
}

在上述代码中，DropTable函数首先会检查是否存在依赖关系，如果存在则抛出错误。接着，它会检查要删除的表是否存在，如果存在则删除表以及与其相关联的所有对象（如索引、默认值等）。最后，它会发送一个SQL命令到后端执行实际的删除操作。

- 阅读更多 -

db.create_all() 报错上下文？

System

2024-09-06

所有,数据库

db.create_all() 函数通常在Flask中与SQLAlchemy结合使用来创建数据库表。如果你在使用这个函数时遇到了错误，可能是由于以下几个原因：

数据库连接问题：确保你的数据库服务正在运行，并且你的应用配置了正确的数据库URI。
SQLAlchemy未配置正确：确保你已经在Flask应用中正确配置了SQLAlchemy，并且有一个SQLAlchemy对象绑定到了应用上下文。
缺少模型定义：如果你使用的是Flask-Migrate，确保你已经定义了模型，并且这些模型可以被导入到调用create_all()的文件中。

解决方法：

确认数据库服务运行状况，检查数据库URI配置。
检查SQLAlchemy配置，确保已经创建了SQLAlchemy对象并绑定到了应用上下文。
确保所有模型类已定义，并且在调用db.create_all()前已经导入。

如果这些检查都没有问题，你可能需要查看详细的错误信息来确定具体的解决方案。通常错误信息会提示连接失败、权限问题、语法错误等。根据具体错误信息进行对策解决问题。

- 阅读更多 -

【数据库】Postgresql 与 MySQL 比较

System

2024-09-06

所有,数据库

PostgreSQL和MySQL是两个流行的开源数据库系统，它们各自拥有独特的特性和用途。以下是它们之间的一些主要区别：

授权方式：PostgreSQL是BSD许可的，MySQL默认是GPL许可，这意味着PostgreSQL更灵活，可以用于商业和私有软件。
事务处理：PostgreSQL提供完整的ACID（原子性、一致性、隔离性、持久性）支持，MySQL在InnoDB存储引擎中也提供了类似的支持。
复杂查询：PostgreSQL支持更复杂的查询和更多的数据类型，包括地理空间数据处理的PostGIS扩展。
扩展性和可靠性：PostgreSQL通常被认为具有更好的扩展性和可靠性，尤其是在处理大数据和复杂查询时。
性能：MySQL通常在读密集型场景下表现更好，而PostgreSQL在写密集和复杂查询场景下表现更好。
兼容性：MySQL与SQL标准的兼容性较差，而PostgreSQL更为兼容。
社区和支持：两者都有活跃的社区和广泛的支持。
定价：MySQL通常是免费的，而PostgreSQL在某些高级特性或支持服务上可能会有额外费用。

比较代码示例：

PostgreSQL:




CREATE TABLE example (
    id SERIAL PRIMARY KEY,
    text VARCHAR(100)
);
 
INSERT INTO example (text) VALUES ('Sample text');
 
SELECT * FROM example WHERE text = 'Sample text';

MySQL:




CREATE TABLE example (
    id INT AUTO_INCREMENT PRIMARY KEY,
    text VARCHAR(100)
);
 
INSERT INTO example (text) VALUES ('Sample text');
 
SELECT * FROM example WHERE text = 'Sample text';

在这两个示例中，我们创建了一个名为example的表，该表具有一个序列主键和一个文本字段。然后我们插入一行数据并从表中选择该数据。两者的语法略有不同，MySQL使用AUTO_INCREMENT而不是SERIAL，在插入时也没有VALUES关键字。

System

2024-09-06

所有,数据库

在ClickHouse中，你可以使用system.query_log表来查看正在执行的SQL语句的信息。这个表记录了所有查询的日志，包括查询开始执行的时间、查询执行的时长、查询的状态等。

以下是一个简单的SQL查询，用于获取当前正在执行的所有SQL语句的概要信息：




SELECT
    query_start_time,
    query,
    read_rows,
    total_rows_approx,
    memory_usage,
    state
FROM system.query_log
WHERE is_initial_query AND state = 'Running'

这个查询会返回以下信息：

query_start_time: 查询开始的时间。
query: 查询的SQL语句。
read_rows: 查询执行过程中读取的行数。
total_rows_approx: 查询执行过程中估算的总行数。
memory_usage: 查询执行过程中使用的内存量。
state: 查询的当前状态（例如，'Running'表示查询正在执行）。

请注意，system.query_log表中的数据是有一定时效性的，数据保留的时间由ClickHouse配置文件中的query_log_max_age配置项决定。如果你需要保留更长时间的查询日志，可以考虑增加这个配置项的值。

此外，根据你的需求，你可能还需要根据其他列（如user、address等）来筛选或者排序查询结果。

System

2024-09-06

所有,数据库




import java.sql.*;
 
public class LargeDataHandling {
    public static void main(String[] args) {
        String url = "jdbc:mysql://localhost:3306/mydb";
        String user = "root";
        String password = "password";
 
        try (Connection conn = DriverManager.getConnection(url, user, password)) {
            String sql = "SELECT * FROM my_large_table";
            try (Statement stmt = conn.createStatement()) {
                try (ResultSet rs = stmt.executeQuery(sql)) {
                    while (rs.next()) {
                        // 处理结果集
                    }
                }
            }
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }
}

这段代码展示了如何使用JDBC连接MySQL数据库，并执行一个查询操作来处理大数据表。它使用了try-with-resources语句来自动关闭数据库连接和相关资源，以避免内存泄漏。在处理结果集时，开发者可以根据自己的需求进行相应的逻辑处理。

- 阅读更多 -

了解Django框架的优势

System

2024-09-06

所有,数据库

Django是一个开放源代码的Web应用框架，由Python写成。它适用于快速开发，且遵循MVC设计。Django的主要优势在于它的功能完备，包括对数据库的强大支持，自动化的管理后台，以及其他特性。

以下是Django框架的一些主要优势：

强大的数据库管理：Django自带的ORM（Object-Relational Mapping）提供了强大的数据库管理功能，无需编写SQL语句，就可以操作数据库。
自带的管理后台：Django自带一个强大的管理后台，可以用于管理网站内容，用户等。
模板系统：Django的模板系统可以创建富文本内容，并且容易与Python代码结合。
缓存系统：Django提供了一个强大的缓存系统，可以优化网站的性能。
auth系统：Django的auth系统提供了用户认证系统，可以方便地管理用户信息。
国际化：Django的国际化支持使得网站可以轻松地进行本地化和翻译。
自带的测试工具：Django提供了一套强大的测试工具，可以帮助开发者编写和运行测试。
丰富的第三方库：Django拥有大量的第三方库，可以方便地集成各种功能。

以下是一个简单的Django项目的目录结构示例：




mysite/
    manage.py
    mysite/
        __init__.py
        settings.py
        urls.py
        asgi.py
        wsgi.py

这个目录结构展示了一个基本的Django项目的主要组成部分。manage.py是一个命令行工具，用于与Django项目交互。mysite目录包含了项目的设置和URLs定义。

System

2024-09-06

所有,数据库




using MongoDB.Driver;
using System;
using System.Collections.Generic;
using System.Linq.Expressions;
 
namespace TodoList.Data.MongoDB
{
    public class MongoDBRepository<T> : IRepository<T> where T : class, new()
    {
        private readonly IMongoCollection<T> _collection;
 
        public MongoDBRepository(IMongoDatabase database)
        {
            _collection = database.GetCollection<T>(typeof(T).Name.ToLower());
        }
 
        public void Add(T entity)
        {
            _collection.InsertOne(entity);
        }
 
        public void Delete(Expression<Func<T, bool>> predicate)
        {
            var filter = Builders<T>.Filter.Where(predicate);
            _collection.DeleteMany(filter);
        }
 
        public IEnumerable<T> GetAll()
        {
            return _collection.Find(_ => true).ToList();
        }
 
        public T GetByID(string id)
        {
            return _collection.Find<T>(t => t.Id == id).FirstOrDefault();
        }
 
        public T GetOneByCondition(Expression<Func<T, bool>> predicate)
        {
            var filter = Builders<T>.Filter.Where(predicate);
            return _collection.Find(filter).FirstOrDefault();
        }
 
        public void Update(T entity)
        {
            var filter = Builders<T>.Filter.Where(t => t.Id == entity.Id);
            _collection.ReplaceOne(filter, entity);
        }
    }
}

这段代码定义了一个泛型的MongoDB仓储类，它实现了IRepository接口。它使用了MongoDB.Driver库来与MongoDB数据库进行交互。代码中包含了基本的CRUD操作，展示了如何使用MongoDB的驱动来操作MongoDB数据库。

- 阅读更多 -

使用cron执行定时任务

示例script.sh脚本：

配置logrotate

使用`cron`执行定时任务

示例`script.sh`脚本：

配置`logrotate`