分类后端技术下的文章

2024-09-03

Oracle数据库是一种关系型数据库管理系统，被广泛应用于大型企业中。以下是一些Oracle数据库的重要知识点和示例代码：

创建用户和授权：




CREATE USER username IDENTIFIED BY password;
GRANT connect, resource TO username;

创建表：




CREATE TABLE tablename (
  column1 datatype,
  column2 datatype,
  ...
);

插入数据：




INSERT INTO tablename (column1, column2, ...) VALUES (value1, value2, ...);

更新数据：




UPDATE tablename SET column1 = value1, column2 = value2 WHERE condition;

删除数据：




DELETE FROM tablename WHERE condition;

创建索引：




CREATE INDEX indexname ON tablename (column1, column2, ...);

创建视图：




CREATE VIEW viewname AS SELECT column1, column2 FROM tablename WHERE condition;

创建存储过程：




CREATE PROCEDURE procedurename
IS
BEGIN
  -- PL/SQL code here
END;

创建触发器：




CREATE TRIGGER triggername
BEFORE INSERT OR UPDATE ON tablename
FOR EACH ROW
BEGIN
  -- PL/SQL code here
END;

数据库备份与恢复：




exp username/password@dbname file=export.dmp
imp username/password@dbname file=export.dmp full=yes

这些是Oracle数据库的基本操作，每个操作都有其特定的语法和用途。熟悉这些操作和语法是使用Oracle数据库的基础。

System

2024-09-03

所有,数据库

在Oracle中，可以使用不同的连接类型来结合多个表中的数据。以下是各种连接类型的简要说明和示例代码：

内连接（INNER JOIN）：仅返回两个表中匹配的记录。




SELECT a.column1, b.column2
FROM tableA a
INNER JOIN tableB b ON a.common_field = b.common_field;

外连接：
- 左连接（LEFT JOIN）：返回左表的所有记录，即使右表中没有匹配的记录。




SELECT a.column1, b.column2
FROM tableA a
LEFT JOIN tableB b ON a.common_field = b.common_field;

右连接（RIGHT JOIN）：返回右表的所有记录，即使左表中没有匹配的记录。




SELECT a.column1, b.column2
FROM tableA a
RIGHT JOIN tableB b ON a.common_field = b.common_field;

隐式连接（IMPLICIT JOIN）：不使用JOIN关键字，而是使用WHERE子句中的比较运算符。




SELECT a.column1, b.column2
FROM tableA a, tableB b
WHERE a.common_field = b.common_field;

表并集（UNION）：返回两个或多个表中的所有不同的行。




SELECT column1 FROM tableA
UNION
SELECT column1 FROM tableB;

表交集（INTERSECT）：返回两个或多个表中的所有相同的行。




SELECT column1 FROM tableA
INTERSECT
SELECT column1 FROM tableB;

表补（MINUS）：返回存在于一个表中但不存在于另一个表中的行。




SELECT column1 FROM tableA
MINUS
SELECT column1 FROM tableB;

这些是Oracle中常见的表连接类型和相应的示例代码。

System

2024-09-03

所有,数据库

由于原文提供的代码是针对达梦数据库与ClickHouse数据库之间进行数据同步的，以下是一个简化的核心函数示例，展示了如何在Python中使用PyDM，这是一个用于操作达梦数据库的库：




from pydm import PyDM
 
# 连接达梦数据库
dm_conn = PyDM("达梦数据库连接信息")
 
# 连接ClickHouse数据库
clickhouse_conn = ClickHouseConnection("ClickHouse连接信息", dbname="your_db")
 
# 查询达梦数据库中的数据
query = "SELECT * FROM 达梦数据库中的表"
dm_data = dm_conn.query(query)
 
# 将数据同步到ClickHouse数据库中
for row in dm_data:
    # 假设ClickHouse中有一个表结构对应于达梦数据库的表
    clickhouse_conn.insert("ClickHouse表名", row)
 
# 关闭连接
dm_conn.close()
clickhouse_conn.close()

这个示例展示了如何使用PyDM库连接达梦数据库，使用标准的SQL查询获取数据，并通过一个循环将每行数据插入到ClickHouse数据库中。最后，代码展示了如何关闭数据库连接。这个过程是将达梦数据库中的数据同步到ClickHouse的通用方法。

- 阅读更多 -

Linux系统安装SQLite

System

2024-09-03

所有,数据库

在Linux系统中安装SQLite通常可以通过包管理器来完成。以下是一些常见Linux发行版中安装SQLite的命令：

对于基于Debian的系统（如Ubuntu）:




sudo apt-get update
sudo apt-get install sqlite3

对于基于RPM的系统（如Fedora）:




sudo dnf install sqlite

对于旧版本的基于RPM的系统（如CentOS）:




sudo yum install sqlite

安装完成后，可以通过在终端输入sqlite3来启动SQLite。

如果需要查看SQLite的版本，可以使用以下命令：




sqlite3 --version

这些命令会安装SQLite及其命令行界面。如果你还需要开发文件（例如头文件），大多数包管理器会包含这些额外的文件。如果你需要特定版本的SQLite或者需要从源代码编译安装，你可以从SQLite的官方网站下载源代码并按照其提供的说明进行编译安装。

- 阅读更多 -

SpringBoot-配置加载顺序

System

2024-09-03

所有,java

Spring Boot 配置加载顺序通常遵循以下优先级规则：

命令行参数。
来自 SPRING_APPLICATION_JSON 环境变量的内联JSON配置。
当前目录下的 application.properties 或 application.yml 文件。
外部配置文件，如 application.properties 或 application.yml 放在配置目录下。
在 SPRING_CONFIG_LOCATION 环境变量中指定的外部配置文件。
入口点的 spring.config.location 参数。
应用程序的 resource 目录中的 application.properties 或 application.yml 文件。
应用程序的 resource 目录中的 application.properties 或 application.yml 文件。
@PropertySource 注解指定的配置。
默认属性。

这个加载过程是由SpringApplication类中的prepareEnvironment方法来控制的，它会按照上述顺序依次加载配置。

如果要改变默认的配置加载顺序，可以通过编程方式来指定配置文件的位置，例如：




@SpringBootApplication
public class MySpringBootApplication {
 
    public static void main(String[] args) {
        SpringApplication app = new SpringApplication(MySpringBootApplication.class);
        app.setAdditionalProfiles("dev");
        app.run(args);
    }
}

在这个例子中，我们通过 setAdditionalProfiles 方法添加了一个额外的配置文件后缀名为 dev，Spring Boot 会尝试加载带有 application-dev.properties 或 application-dev.yml 的配置文件。

另外，你可以通过设置 spring.config.location 或 spring.config.import 属性来改变配置文件的默认位置。例如，在命令行中启动应用程序时使用：




java -jar myproject.jar --spring.config.location=file:/path/to/config/

这将会让Spring Boot应用程序加载指定路径下的配置文件。

注意，在实际开发中，通常推荐使用 Spring Boot 提供的默认配置加载顺序，这样可以保持配置的灵活性和可维护性。如果需要覆盖或添加特定的配置，可以在 application.properties 或 application.yml 文件中进行，或者在不同的配置文件中进行分模块管理。

- 阅读更多 -

ORACLE 创建job定时执行带参数的存储过程/无参数的存储过程

System

2024-09-03

所有,数据库

在Oracle中创建一个定时任务（Job）来执行存储过程，可以通过DBMS\_SCHEDULER或DBMS\_JOB包来完成。以下是创建定时任务执行存储过程的例子：

无参数的存储过程:




CREATE OR REPLACE PROCEDURE my_procedure_no_params
IS
BEGIN
  -- 这里放置你的代码
  NULL; -- 如果没有代码，可以使用NULL占位符
END;
/
 
-- 创建定时任务
BEGIN
  DBMS_SCHEDULER.create_job (
    job_name        => 'my_job_no_params',
    job_type        => 'PLSQL_BLOCK',
    job_action      => 'BEGIN my_procedure_no_params; END;',
    start_date      => SYSTIMESTAMP,
    repeat_interval => 'FREQ=DAILY; BYHOUR=2; BYMINUTE=0; BYSECOND=0', -- 每天凌晨2点执行
    enabled         => TRUE,
    comments        => 'Job to execute my_procedure_no_params daily at 2 AM');
END;
/

带参数的存储过程:




CREATE OR REPLACE PROCEDURE my_procedure(p_param1 IN NUMBER, p_param2 IN VARCHAR2)
IS
BEGIN
  -- 这里放置你的代码，使用参数p_param1和p_param2
  NULL; -- 如果没有代码，可以使用NULL占位符
END;
/
 
-- 创建定时任务
BEGIN
  DBMS_SCHEDULER.create_job (
    job_name        => 'my_job_with_params',
    job_type        => 'PLSQL_BLOCK',
    job_action      => 'BEGIN my_procedure(10, ''example''); END;',
    start_date      => SYSTIMESTAMP,
    repeat_interval => 'FREQ=DAILY; BYHOUR=2; BYMINUTE=0; BYSECOND=0', -- 每天凌晨2点执行
    enabled         => TRUE,
    comments        => 'Job to execute my_procedure with params daily at 2 AM');
END;
/

在上述例子中，my_procedure_no_params和my_procedure是存储过程的名称，my_job_no_params和my_job_with_params是定时任务的名称。repeat_interval定义了任务的执行频率。这些值可以根据你的具体需求进行调整。

System

2024-09-03

所有,java

Spring Boot 配置文件主要有 application.yml 和 application-dev.yml。

application.yml 是主配置文件，通常包含共享环境（如数据库连接信息、服务器配置等）的配置。

application-dev.yml 是一个 profile 配置文件，用于开发环境的配置。当设置了 Spring Boot 的 spring.profiles.active 属性为 dev 时，application-dev.yml 中的配置会覆盖 application.yml 中相同的属性。

以下是两个配置文件的简单示例：

application.yml 示例：




server:
  port: 8080
 
spring:
  datasource:
    url: jdbc:mysql://localhost:3306/mydb
    username: dbuser
    password: dbpass
    driver-class-name: com.mysql.jdbc.Driver

application-dev.yml 示例：




server:
  port: 8081
 
spring:
  profiles: dev
  datasource:
    url: jdbc:mysql://localhost:3306/mydb_dev
    username: dbuser_dev
    password: dbpass_dev
    driver-class-name: com.mysql.jdbc.Driver

在这个例子中，如果你启动应用程序时设置了 spring.profiles.active=dev，那么应用程序将会使用 application-dev.yml 中定义的端口号 8081 和数据库连接信息。这样做可以让开发环境和生产环境有不同的配置，便于开发和调试。

- 阅读更多 -

DTS迁移Oracle至DM与MySQL至DM

System

2024-09-03

所有,数据库

由于DTS（Data Transmission Service）是阿里云提供的数据传输服务，而Oracle、DM和MySQL是不同的数据库系统，DM是达梦数据库，MySQL是开源数据库，迁移这些数据库到DM系统需要使用DTS进行数据同步。

以下是一个简化的示例，展示如何使用DTS从Oracle迁移数据至DM，以及从MySQL迁移数据至DM：

从Oracle迁移数据至DM：

首先，需要在源端Oracle数据库和目标端DM数据库之间建立连接，并配置数据同步任务。




{
    "job_id": "oracle_to_dm",
    "database_type": "Oracle",
    "oracle_connection": {
        "host": "源端Oracle服务器IP",
        "port": "1521",
        "user": "oracle用户名",
        "password": "oracle密码"
        // 其他必要的连接参数
    },
    "dm_connection": {
        "host": "目标端DM服务器IP",
        "port": "5236",
        "user": "dm用户名",
        "password": "dm密码"
        // 其他必要的连接参数
    },
    "table_config": [
        {
            "table_name": "需要同步的表名",
            "columns": ["列名列表"]
            // 其他必要的配置
        }
        // 更多表的配置
    ]
    // 其他必要的配置
}

从MySQL迁移数据至DM：

同样，需要在源端MySQL数据库和目标端DM数据库之间建立连接，并配置数据同步任务。




{
    "job_id": "mysql_to_dm",
    "database_type": "MySQL",
    "mysql_connection": {
        "host": "源端MySQL服务器IP",
        "port": "3306",
        "user": "mysql用户名",
        "password": "mysql密码"
        // 其他必要的连接参数
    },
    "dm_connection": {
        "host": "目标端DM服务器IP",
        "port": "5236",
        "user": "dm用户名",
        "password": "dm密码"
        // 其他必要的连接参数
    },
    "table_config": [
        {
            "table_name": "需要同步的表名",
            "columns": ["列名列表"]
            // 其他必要的配置
        }
        // 更多表的配置
    ]
    // 其他必要的配置
}

注意：以上代码示例是用JSON格式展示的配置信息，实际配置时需要在DTS管理控制台中填写相应的信息。

由于DTS具体使用细节可能涉及到数据库特定的设置和权限，所以需要参考阿里云DTS的官方文档来进行配置和使用。

- 阅读更多 -

Spring boot2.7整合jetcache 远程redis缓存方案

System

2024-09-03

所有,java

在Spring Boot 2.7中整合jetcache进行远程Redis缓存的方案，你可以参考以下步骤和示例代码：

添加依赖到你的pom.xml：




<dependencies>
    <!-- jetcache -->
    <dependency>
        <groupId>com.alicp.jetcache</groupId>
        <artifactId>jetcache-starter-redis</artifactId>
        <version>0.11.0</version>
    </dependency>
    <!-- redis client -->
    <dependency>
        <groupId>redis.clients</groupId>
        <artifactId>jedis</artifactId>
        <version>3.7.0</version>
    </dependency>
</dependencies>

配置application.yml文件：




jetcache:
  default:
    type: redis
    host: 你的Redis服务器地址
    port: 6379
    password: 你的Redis密码
    valueDecoder: java.lang.String
    keyEncoder: java.lang.String
    valueEncoder: java.lang.String
    poolConfig:
      maxTotal: 100
      maxIdle: 10
      minIdle: 1

创建一个配置类，使用@Bean定义Cache实例：




import com.alicp.jetcache.Cache;
import com.alicp.jetcache.anno.CacheConsts;
import com.alicp.jetcache.anno.CreateCache;
import com.alicp.jetcache.anno.config.SpringConfigProvider;
import com.alicp.jetcache.embedded.EmbeddedCacheBuilder;
import com.alicp.jetcache.redis.RedisCacheBuilder;
import com.alicp.jetcache.support.FastjsonKeyConvertor;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
 
@Configuration
public class CacheConfig {
 
    @Bean
    public SpringConfigProvider springConfigProvider() {
        return new SpringConfigProvider();
    }
 
    @Bean
    public Cache defaultCache() {
        return new RedisCacheBuilder()
                .keyConvertor(FastjsonKeyConvertor.INSTANCE)
                .buildCache();
    }
}

使用jetcache进行缓存操作：




import com.alicp.jetcache.Cache;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
 
@Service
public class CacheService {
 
    @Autowired
    private Cache<String, String> cache;
 
    public void put(String key, String value) {
        cache.put(key, value);
    }
 
    public String get(String key) {
        return cache.get(key);
    }
}

确保你的Redis服务器已经启动并可以正常连接，以上代码提供了一个基本的示例，展示了如何在Spring Boot 2.7项目中整合jetcache来使用远程Redis缓存。

- 阅读更多 -

【PostgreSQL】官网学习使用 PL/pgSQL编写造数据脚本

System

2024-09-03

所有,数据库

以下是一个使用PL/pgSQL编写的造数脚本示例，该脚本会在PostgreSQL数据库中插入一些示例数据：




DO $$
DECLARE
    i INTEGER;
BEGIN
    -- 创建一个测试表
    EXECUTE 'DROP TABLE IF EXISTS test_table';
    EXECUTE 'CREATE TABLE test_table (id SERIAL PRIMARY KEY, data VARCHAR(50))';
 
    -- 插入100条测试数据
    FOR i IN 1..100 LOOP
        EXECUTE 'INSERT INTO test_table (data) VALUES ($1)';
        PERFORM pg_sleep(0.01); -- 为了演示造数过程，每条记录插入后暂停0.01秒
    END LOOP;
END $$;

这段代码使用了匿名的DO块来执行，它会：

检查并删除已存在的test_table表。
创建一个新的test_table表，其中包含一个自增主键id和一个文本字段data。
通过FOR循环，插入100条数据到test_table表中，每条记录之间暂停0.01秒，以便可以看到数据插入的过程。

请注意，在实际应用中，造数脚本可能需要根据实际的数据库结构和需求进行调整。

- 阅读更多 -