Tech Blog

2024-09-09

ClickHouse是一个用于在线分析(OLAP)的列式数据库管理系统(DBMS)。它的主要特点是极高的数据处理速度，可以在几十秒内完成对千万条记录的查询。

ClickHouse的主要特性包括：

列式存储：数据按列存储，适合于某些类型的查询操作。
数据压缩：支持多种数据压缩算法，以减少存储空间。
向量化执行引擎：使用SIMD指令优化代码执行。
索引：适度的索引减少了查询时的seek和IO操作。
多核并行处理：利用多核处理器进行并行处理。
SQL支持：支持标准的SQL查询。

安装和使用ClickHouse：

下载并安装：访问ClickHouse官网下载页面，选择合适的版本并安装。
启动服务：在安装目录下执行clickhouse-server启动服务。
连接数据库：使用clickhouse-client连接数据库。

基本SQL操作示例：




-- 创建数据库
CREATE DATABASE IF NOT EXISTS example_db;
 
-- 创建表
CREATE TABLE example_db.example_table (
  EventDate Date,
  EventTime DateTime,
  UserID Int32,
  EventName String,
  EventData String
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(EventDate)
ORDER BY (EventDate, EventTime, intHash32(UserID))
 
-- 插入数据
INSERT INTO example_db.example_table (EventDate, EventTime, UserID, EventName, EventData) VALUES ('2023-01-01', '2023-01-01 00:00:00', 42, 'event_name', 'event_data');
 
-- 查询数据
SELECT EventDate, count(UserID) FROM example_db.example_table GROUP BY EventDate;

以上是ClickHouse的基本介绍和使用示例。

Tomcat使用监听器实现观察者设计模式

2024-09-09




import javax.servlet.ServletContextEvent;
import javax.servlet.ServletContextListener;
import java.util.ArrayList;
import java.util.List;
 
public class MyServletContextListener implements ServletContextListener {
 
    // 观察者列表
    private List<Observer> observers = new ArrayList<>();
 
    @Override
    public void contextInitialized(ServletContextEvent sce) {
        // 在这里可以添加初始化代码，比如注册观察者
        // 假设有一个Observer的实现类MyObserver
        Observer observer = new MyObserver();
        observers.add(observer);
        // 可以在这里添加更多的观察者
    }
 
    @Override
    public void contextDestroyed(ServletContextEvent sce) {
        // 在这里可以添加销毁前的代码，比如通知所有观察者context即将销毁
        for (Observer observer : observers) {
            observer.contextDestroyed();
        }
        // 清空观察者列表
        observers.clear();
    }
 
    // 观察者接口
    public interface Observer {
        void contextDestroyed();
    }
 
    // 观察者实现类
    public class MyObserver implements Observer {
        @Override
        public void contextDestroyed() {
            // 处理context销毁前的逻辑
        }
    }
}

这个代码示例展示了如何在Tomcat中使用ServletContextListener来实现观察者模式。在contextInitialized方法中，我们添加了一个观察者实现类的实例。在contextDestroyed方法中，我们通知所有观察者context即将销毁，并清空观察者列表。这样的实现方式可以帮助开发者在Web应用程序关闭前执行一些清理工作或通知其他系统。

PostgreSQL技术大讲堂 - Part 6：PG用户与角色管理

2024-09-09




-- 创建角色
CREATE ROLE "dbuser" LOGIN PASSWORD 'dbuser_password';
 
-- 创建数据库
CREATE DATABASE "dbname" OWNER "dbuser";
 
-- 给角色授权数据库
GRANT ALL PRIVILEGES ON DATABASE "dbname" TO "dbuser";
 
-- 创建表空间
CREATE TABLESPACE "dbspace" LOCATION '/path/to/dbspace';
 
-- 给角色授权表空间
GRANT ALL PRIVILEGES ON TABLESPACE "dbspace" TO "dbuser";
 
-- 给角色授权连接
GRANT CONNECT ON DATABASE "dbname" TO "dbuser";
 
-- 给角色授权创建表
GRANT CREATE ON DATABASE "dbname" TO "dbuser";
 
-- 给角色授权创建序列
GRANT CREATE SEQUENCE ON DATABASE "dbname" TO "dbuser";
 
-- 给角色授权创建视图
GRANT CREATE VIEW ON DATABASE "dbname" TO "dbuser";
 
-- 给角色授权创建临时表
GRANT CREATE TEMP TABLE ON DATABASE "dbname" TO "dbuser";
 
-- 给角色授权复制
GRANT REPLICATION ON DATABASE "dbname" TO "dbuser";
 
-- 给角色授权角色
GRANT "dbuser" TO "otheruser";

这个例子展示了如何在PostgreSQL中创建一个新角色，设置密码，创建数据库，并且给这个角色授予相应的权限。这是数据库管理员进行用户和角色管理的基本操作。

nginx通过https+域名访问tomcat后台接口

2024-09-09

为了使用Nginx通过HTTPS和域名访问Tomcat后端接口，你需要进行以下步骤：

准备SSL证书和私钥。
配置Nginx以启用HTTPS并代理传入的请求到Tomcat服务器。
配置Tomcat以允许通过Nginx访问。

以下是一个基本的Nginx配置示例，它设置了SSL并代理了对Tomcat的请求：




server {
    listen 443 ssl;
    server_name your-domain.com; # 替换为你的域名
 
    ssl_certificate /path/to/your/certificate.pem; # SSL证书路径
    ssl_certificate_key /path/to/your/private.key; # SSL私钥路径
 
    location / {
        proxy_pass http://localhost:8080; # Tomcat运行的服务器和端口
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

确保替换your-domain.com、证书路径和私钥路径以及Tomcat服务器的地址和端口。

此外，请确保Tomcat的web.xml配置允许跨域请求（如果需要）：




<filter>
    <filter-name>CorsFilter</filter-name>
    <filter-class>org.apache.catalina.filters.CorsFilter</filter-class>
    <init-param>
        <param-name>cors.allowed.origins</param-name>
        <param-value>*</param-value>
    </init-param>
</filter>
<filter-mapping>
    <filter-name>CorsFilter</filter-name>
    <url-pattern>/*</url-pattern>
</filter-mapping>

这样配置后，Nginx将能够接收HTTPS请求，并将其代理到Tomcat服务器。记得重启Nginx以使配置生效。

2024-09-09

报错解释：

org.springframework.beans.factory.BeanCurrentlyInCreationException 异常通常发生在Spring框架中，表示Spring容器不能返回当前正在创建的Bean，因为这可能会导致循环依赖。循环依赖是指Bean A在创建过程中依赖于Bean B，而Bean B又反过来依赖于Bean A，形成了一个闭环。

解决方法：

检查你的Spring配置，特别是涉及到循环依赖的地方。
使用@Lazy注解可以延迟Bean的加载，有时可以解决循环依赖的问题。
考虑重构你的代码，分离出无循环依赖的模块，或者使用工厂方法模式、setter方法注入等技巧来解决依赖关系。
如果是构造器注入导致的循环依赖，可以考虑使用@Autowired注解构造器，并确保@Autowired标注的构造器只有一个，这样Spring可以通过该构造器来解决依赖问题。
如果是单例Bean的话，可以尝试将其作用域改为prototype，避免单例导致的循环依赖问题。

MyBatis的数据库连接池自动恢复策略

2024-09-09

MyBatis 使用的数据库连接池可能会在某些情况下丢失与数据库的连接。为了确保连接池能够自动恢复，你可以配置连接池的自动恢复策略。

以下是一个使用 HikariCP 连接池的 MyBatis 配置示例，它配置了自动恢复策略：




<configuration>
    <!-- 其他配置... -->
 
    <environments default="development">
        <environment id="development">
            <transactionManager type="JDBC"/>
            <dataSource type="POOLED">
                <property name="driver" value="com.mysql.cj.jdbc.Driver"/>
                <property name="url" value="jdbc:mysql://localhost:3306/yourdatabase"/>
                <property name="username" value="yourusername"/>
                <property name="password" value="yourpassword"/>
                
                <!-- 配置 HikariCP 的自动恢复策略 -->
                <property name="autoCommit" value="false"/>
                <property name="connectionTimeout" value="30000"/>
                <property name="idleTimeout" value="600000"/>
                <property name="maxLifetime" value="1800000"/>
                <property name="maximumPoolSize" value="10"/>
                <!-- 其他 HikariCP 属性配置 -->
            </dataSource>
        </environment>
    </environments>
</configuration>

在这个配置中，maxLifetime 属性定义了连接的最大生命周期，超过这个时间连接会被自动丢弃。idleTimeout 属性定义了连接在多长时间没有被使用后会被自动回收。connectionTimeout 属性设置了数据库连接的超时时间。

确保你的 MyBatis 版本与连接池（例如 HikariCP）兼容，并且根据你使用的数据库以及连接池的文档调整这些设置。

Django 常用命令速查手册

2024-09-09

以下是Django常用命令的速查手册：

创建项目:




django-admin startproject myproject

运行开发服务器:




python manage.py runserver

创建应用:




python manage.py startapp myapp

数据库迁移:




python manage.py makemigrations myapp
python manage.py migrate

创建管理员用户:




python manage.py createsuperuser

收集静态文件:




python manage.py collectstatic

查看路由:




python manage.py show_urls

导出数据:




python manage.py dumpdata > data.json

导入数据:




python manage.py loaddata data.json

创建自定义用户模型:




# models.py
from django.contrib.auth.models import AbstractUser
 
class CustomUser(AbstractUser):
    # 添加额外字段




# settings.py
AUTH_USER_MODEL = 'myapp.CustomUser'

这些是Django开发中常用的命令，可以帮助快速启动新项目，管理数据库迁移，以及处理用户认证等常见任务。

oracle sql性能优化，2024年最新字节跳动算法工程师面试总结

2024-09-09

在Oracle SQL性能优化方面，可以遵循以下几个步骤：

使用Explain Plan分析SQL执行计划。
通过查看SQL执行计划来识别潜在的性能瓶颈。
使用合适的索引来优化查询。
避免SELECT *，只选取所需列。
避免使用子查询，尽量使用JOIN。
使用分析函数（如ROW\_NUMBER() OVER）时，确保有正确的分区和排序。
使用绑定变量，而不是硬编码值，以提高SQL缓存效率。
使用WITH子句（Common Table Expressions, CTEs）来进行递归查询或复杂子查询。
使用分页查询时，考虑使用ROWNUM或FETCH FIRST语法。
定期监控和分析数据库性能，使用AWR或SQL Monitoring Reports。
使用DBMS\_STATS包收集最新的统计信息。
考虑使用并行查询以利用多CPU环境。
使用PL/SQL代码时，注意过多使用游标和循环，优化逻辑。
考虑使用调优参数和优化器提示。
定期优化表和索引。

以下是一个简单的示例，展示了如何使用WITH子句进行分页查询：




WITH ordered_results AS (
  SELECT /*+ FIRST_ROWS(n) */
    row_number() OVER (ORDER BY some_column) AS rn,
    some_column,
    another_column
  FROM some_table
  WHERE some_condition
)
SELECT *
FROM ordered_results
WHERE rn BETWEEN :start_row AND :end_row;

在这个例子中，FIRST_ROWS(n)优化器提示用于指示优化器优先返回前n行结果，这可以提高查询的响应时间。使用WITH子句可以减少重复的查询逻辑，并使得分页更为简洁高效。

Spring Boot - 优雅实现支持通配符和IP段的IP访问黑白名单机制

2024-09-09




import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.annotation.Order;
import org.springframework.core.env.Environment;
import org.springframework.core.env.MapPropertySource;
import org.springframework.security.config.annotation.web.builders.HttpSecurity;
import org.springframework.security.config.annotation.web.configuration.WebSecurityConfigurerAdapter;
import org.springframework.security.web.util.matcher.IpAddressMatcher;
 
import java.util.HashMap;
import java.util.Map;
 
@Configuration
public class IpAccessControlConfiguration {
 
    @Bean
    public IpAccessControlExtension ipAccessControlExtension() {
        return new IpAccessControlExtension();
    }
 
    @Configuration
    @Order(1)
    public static class IpAccessControlConfig extends WebSecurityConfigurerAdapter {
 
        private final IpAccessControlExtension ipAccessControlExtension;
 
        public IpAccessControlConfig(IpAccessControlExtension ipAccessControlExtension) {
            this.ipAccessControlExtension = ipAccessControlExtension;
        }
 
        @Override
        protected void configure(HttpSecurity http) throws Exception {
            // 应用IP访问控制规则
            http.authorizeRequests()
                    .anyRequest().access("@ipAccessControlExtension.hasIpAccess(request, authentication)");
        }
    }
 
    public static class IpAccessControlExtension {
        private Map<String, String> whiteList = new HashMap<>();
        private Map<String, String> blackList = new HashMap<>();
 
        public IpAccessControlExtension() {
            // 初始化白名单和黑名单
            whiteList.put("192.168.1.0/24", "白名单IP段");
            blackList.put("10.0.0.0/8", "黑名单IP段");
        }
 
        public boolean hasIpAccess(Object request, Object authentication) {
            String remoteAddr = ((javax.servlet.http.HttpServletRequest) request).getRemoteAddr();
            IpAddressMatcher ipAddressMatcher = new IpAddressMatcher(whiteList.keySet());
            // 设置白名单规则
            ipAddressMatcher.setNegated(false);

数据库如何用命令执行文件插入大量数据到数据库用oracle和mysql举例

2024-09-09

在Oracle和MySQL中，你可以使用不同的方法来插入大量数据。

Oracle: 使用PL/SQL的INSERT ALL语句或者BULK COLLECT。




-- 使用INSERT ALL
BEGIN
  INSERT INTO your_table (column1, column2) VALUES ('value1', 'value2');
  INSERT INTO your_table (column1, column2) VALUES ('value3', 'value4');
  -- 重复以上语句插入更多数据
  COMMIT;
END;
/
 
-- 使用BULK COLLECT (需要先声明一个变量数组，填充数据后再使用)
DECLARE
  TYPE column1_arr IS TABLE OF your_table.column1%TYPE;
  TYPE column2_arr IS TABLE OF your_table.column2%TYPE;
  col1_val column1_arr := column1_arr('value1', 'value3', ...); -- 填充数据
  col2_val column2_arr := column2_arr('value2', 'value4', ...); -- 填充数据
BEGIN
  FOR i IN 1 .. col1_val.COUNT LOOP
    INSERT INTO your_table (column1, column2) VALUES (col1_val(i), col2_val(i));
  END LOOP;
  COMMIT;
END;
/

MySQL: 使用LOAD DATA INFILE或者INSERT ... VALUES, VALUES可以包含多组值。




-- 使用LOAD DATA INFILE
LOAD DATA INFILE '/path/to/your/data.csv'
INTO TABLE your_table
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS;
 
-- 使用INSERT ... VALUES (需要多次执行)
INSERT INTO your_table (column1, column2) VALUES
('value1', 'value2'),
('value3', 'value4'),
-- 重复以上语句插入更多数据
('valueN', 'valueN+1');

在Oracle中，使用PL/SQL的INSERT ALL语句或者BULK COLLECT可以批量插入数据，并且可以通过批处理和事务控制来优化性能。在MySQL中，LOAD DATA INFILE是一种更快的方法，适合大规模数据导入，特别是从文件中导入数据。

注意：在实际应用中，你可能需要调整表的索引、事务的大小或者使用其他性能优化技巧来处理大量数据的插入。