1. 首页
  2. 分类
  3. 后端技术
项目实战--Spring Boot 3整合Flink实现大数据文件处理
System
2024-09-09
所有,java



import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.api.common.restartstrategy.RestartStrategies;
import org.apache.flink.api.common.time.Time;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.types.Row;
 
public class FlinkProcessBigData {
 
    public static void main(String[] args) throws Exception {
        // 创建流执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        env.setRestartStrategy(RestartStrategies.fixedDelayRestart(3, Time.seconds(5)));
 
        // 创建表执行环境
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);
 
        // 读取数据
        DataStream<String> text = env.readTextFile("path/to/your/input/file");
 
        // 转换数据
        DataStream<Tuple2<String, Integer>> wordCount = text
            .flatMap(new WordCount.Tokenizer())
            .keyBy(0)
            .sum(1);
 
        // 创建表
        tableEnv.createTemporaryView("WordCountTable", wordCount, "word", "count");
 
        // 执行SQL查询
        Table resultTable = tableEnv.sqlQuery("SELECT word, SUM(count) AS total FROM WordCountTable GROUP BY word");
 
        // 转换回DataStream
        DataStream<Row> result = tableEnv.toChangelogStream(resultTable);
 
        // 输出结果
        result.print();
 
        env.execute("Flink Word Count Example");
    }
 
    public static class Tokenizer implements MapFunction<String, Tuple2<String, Integer>> {
        @Override
        public Tuple2<String, Integer> map(String value) {
            return new Tuple2<>(value.toLowerCase(), 1);
- 阅读更多 -
Windows下安装和配置Redis
System
2024-09-09
所有,redis

在Windows下安装和配置Redis，可以按照以下步骤进行：

  1. 下载Redis for Windows:

    访问Redis官方网站的下载页面（https://redis.io/download），选择Windows版本的压缩包下载。

  2. 解压Redis压缩包:

    将下载的Redis压缩包解压到你选择的目录。

  3. 启动Redis服务器:

    打开命令提示符（CMD），导航到Redis解压目录，运行以下命令来启动Redis服务器：

    


redis-server.exe redis.windows.conf

  4. 可选：配置Redis为Windows服务:

    将Redis添加为Windows服务，可以使其作为后台服务启动。在Redis目录下运行：

    


redis-server.exe --service-install redis.windows.conf --loglevel verbose

    启动服务：

    


redis-server.exe --service-start

  5. 测试Redis:

    打开另一个命令提示符实例，运行：

    


redis-cli.exe -h 127.0.0.1 -p 6379

    然后进行简单的Redis命令测试，例如：

    


127.0.0.1:6379> SET hello world
127.0.0.1:6379> GET hello

以上步骤简要描述了如何在Windows环境下安装和运行Redis。注意，Redis官方版本并不直接支持Windows，上面提供的是Microsoft Open Tech团队维护的版本，可能在某些功能和稳定性上会有差异。

- 阅读更多 -
Redis：概念、部署、配置、优化
System
2024-09-09
所有,redis

Redis是一个开源的使用C语言编写的、支持网络交互的、可基于内存也可持久化的日志型、Key-Value数据库，并提供多种语言的API。

部署Redis:

  1. 下载源码包



wget http://download.redis.io/releases/redis-6.2.6.tar.gz
  1. 解压源码包



tar xzf redis-6.2.6.tar.gz
  1. 编译安装



cd redis-6.2.6
make
make install

配置Redis:

  1. 创建配置文件目录



mkdir /etc/redis
  1. 移动并修改默认配置文件



mv redis.conf /etc/redis/redis.conf

编辑 /etc/redis/redis.conf 文件，根据需求修改配置，例如设置守护进程模式：




daemonize yes

优化Redis:

  1. 设置合理的内存上限



maxmemory <bytes>
  1. 合理配置持久化策略



save <seconds> <changes>
appendonly yes
  1. 调整网络参数，如最大连接数



maxclients <number>

注意：具体配置项根据实际需求和环境进行调整。

- 阅读更多 -
缓存类型及优缺点：Ehcache、Caffeine、Memcached和Redis的比较
System
2024-09-09
所有,redis

Ehcache、Caffeine、Memcached和Redis都是缓存技术，但它们各有优势和使用场景。

Ehcache:

  • Java本地缓存，不需要网络。
  • 常用于单机应用或集群的轻量级缓存。
  • 支持内存和磁盘存储，有不同的缓存更新策略。
  • 优点是性能高，缺点是不支持分布式的更高级特性。

Caffeine:

  • Java本地缓存，设计目标是高性能。
  • 使用了Java 8的ConcurrentHashMap和LinkedHashMap。
  • 优点是性能优异，适合于内存中高频率访问的数据。

Memcached:

  • 是一个分布式内存缓存系统。
  • 需要客户端库和服务端软件配合。
  • 优点是分布式支持，缺点是需要额外的部署和配置。

Redis:

  • 是一个开源的内存中数据结构存储系统。
  • 支持多种数据结构，如字符串、哈希表、列表、集合等。
  • 提供了持久化选项，可以将数据保存到磁盘。
  • 优点是数据类型丰富，缺少对于简单缓存的使用场景。

根据不同的应用场景和需求，选择合适的缓存技术。例如，对于需要分布式缓存支持和复杂数据结构的应用，可以选择Redis；对于需要高性能和低延迟的本地缓存，可以选择Caffeine。

- 阅读更多 -
实战演练 | SQL Server 中的磁盘加密
System
2024-09-09
所有,数据库



-- 设置数据库为完全恢复模式
ALTER DATABASE [YourDatabase] SET RECOVERY FULL;
 
-- 创建证书
CREATE CERTIFICATE Cert_SQLServerDiskEncryption
WITH SUBJECT = 'Certificate for SQL Server Disk Encryption';
 
-- 使用证书创建加密密钥
CREATE SYMMETRIC KEY SQLServerDiskEncryptionKey
WITH ALGORITHM = AES_256
ENCRYPTION BY CERTIFICATE Cert_SQLServerDiskEncryption;
 
-- 将加密密钥应用于数据库文件
-- 假设您已经知道数据库文件的逻辑名称，这里用DatabaseFileLogicalName代替
USE [YourDatabase];
GO
ALTER DATABASE [YourDatabase]
SET FILE (DatabaseFileLogicalName, NAME = N'DatabaseFileLogicalName', FILENAME = 'D:\Data\DatabaseFilePhysicalName.ndf');
GO
 
-- 加密数据库文件
BACKUP DATABASE [YourDatabase]
TO DISK = 'D:\Backups\YourDatabase.bak'
WITH FORMAT,
GO
 
-- 密钥和证书的使用权限
GRANT TAKES SYMMETRIC KEY ON SQLServerDiskEncryptionKey TO [YourServiceAccount];
GO

在这个代码实例中，我们首先将数据库恢复模式设置为完全（FULL），然后创建一个证书和一个使用AES\_256算法的对称加密密钥。接着，我们使用创建的加密密钥来加密数据库文件，并备份数据库。最后，我们授权服务账户使用该密钥。这个过程确保了数据库文件的磁盘加密，并且在数据库恢复操作中能够保持加密状态。

- 阅读更多 -
Electron+Ts+Vue+Vite桌面应用系列：sqlite增删改查操作篇
System
2024-09-09
所有,数据库



import { Database } from 'better-sqlite3';
import { open } from 'sqlite';
 
// 定义数据库操作的接口
interface IDBOperation {
  openDB: () => Promise<Database>,
  closeDB: (db: Database) => Promise<void>,
  addData: (db: Database, data: any) => Promise<void>,
  getData: (db: Database, query: string) => Promise<any[]>,
  updateData: (db: Database, data: any) => Promise<void>,
  deleteData: (db: Database, id: number) => Promise<void>
}
 
// 实现接口的具体操作
class DBOperation implements IDBOperation {
  private dbPath: string = 'path/to/your/database.db';
 
  public async openDB(): Promise<Database> {
    return open({
      filename: this.dbPath,
      driver: require('sqlite3').verbose,
    });
  }
 
  public async closeDB(db: Database): Promise<void> {
    await db.close();
  }
 
  public async addData(db: Database, data: any): Promise<void> {
    // 假设data是一个对象，含有id和name属性
    const stmt = db.prepare(`INSERT INTO your_table (id, name) VALUES (?, ?);`);
    stmt.run(data.id, data.name);
    stmt.finalize();
  }
 
  public async getData(db: Database, query: string): Promise<any[]> {
    const stmt = db.prepare(`SELECT * FROM your_table WHERE name = ?;`);
    const rows = stmt.all(query);
    stmt.finalize();
    return rows;
  }
 
  public async updateData(db: Database, data: any): Promise<void> {
    const stmt = db.prepare(`UPDATE your_table SET name = ? WHERE id = ?;`);
    stmt.run(data.name, data.id);
    stmt.finalize();
  }
 
  public async deleteData(db: Database, id: number): Promise<void> {
    const stmt = db.prepare(`DELETE FROM your_table WHERE id = ?;`);
    stmt.run(id);
    stmt.finalize();
  }
}
 
// 使用示例
async function useDBOperation() {
  const dbOperation = new DBOperation();
  const db = await dbOperation.openDB();
 
  try {
    // 添加数据
    await dbOperation.addData(db, { id: 1, name: 'Alice' });
 
    // 查询数据
    const data = await dbOperation.getData(db, 'Alice');
    console.log(data);
 
    // 更新数据
    await dbOperation.updateData(db, { id: 1, name: 'Bob' });
 
    // 删除数据
    await dbOperation.deleteData(db, 1);
  } finally {
    await dbOperation.closeDB(db);
  }
}
 
useDBOperation();

这段代码展示了如何使用TypeScript和better-sqlite3库来实现一个简单的SQLite数据库操作类。这个类遵循IDBOperation接口，提供了打开数据库、关闭数据库、添加数据、查询数据、更新数据和删除数据的方法。使用async/await来处理异步操作，确保代码的清晰和可读性。

- 阅读更多 -
SpringCloud启动LN:170 Cannot determine local hostname
System
2024-09-09
所有,java

报错解释：

这个错误通常发生在Spring Cloud配置的服务注册到服务注册中心（如Eureka, Consul, Zookeeper等）时，服务注册中心无法确定本地主机名。

解决方法：

  1. 确认主机名配置正确。可以通过运行hostname命令查看当前主机名。
  2. 如果主机名配置有误，可以修改/etc/hostname文件（Linux系统）或者通过系统设置修改主机名。
  3. 确保主机名可以被解析。可以通过ping主机名来测试。
  4. 如果使用Spring Cloud的服务注册中心，检查相关配置，确保服务注册中心的地址配置正确。
  5. 如果是Docker容器环境，确保容器启动时指定了正确的主机名。
  6. 如果以上都无法解决，可以尝试在启动参数中添加spring.cloud.client.hostname属性，指定明确的主机名。

例如，在application.properties或application.yml中添加：




spring.cloud.client.hostname=your-custom-hostname

替换your-custom-hostname为实际主机名。

- 阅读更多 -
2023-01-17 PostgreSQL 并行查询概述
System
2024-09-09
所有,数据库

在PostgreSQL中，并行查询是一种特性，允许数据库在多个CPU核心上同时执行一个查询操作。这可以极大地提高处理大型数据集的速度。

要启用并行查询，需要确保max_parallel_workers和max_parallel_workers_per_gather参数设置得足够高，以便PostgreSQL可以分配足够的工作进程来执行并行任务。

以下是一个简单的查询示例，它使用了并行查询特性：




-- 设置并行度为8，表示查询将在最多8个并行工作进程中执行
SET max_parallel_workers = 8;
 
-- 设置每个聚合（如GROUP BY操作）的最大并行度
SET max_parallel_workers_per_gather = 4;
 
-- 创建一个表，用于演示并行查询
CREATE TABLE parallel_test (
    id SERIAL PRIMARY KEY,
    value INT
);
 
-- 插入大量数据
INSERT INTO parallel_test (value)
SELECT generate_series(1, 1000000);
VACUUM ANALYZE parallel_test;
 
-- 执行并行查询
SELECT *
FROM parallel_test
WHERE value > 900000
ORDER BY value ASC;

在这个例子中，查询将尝试在多个CPU核心上处理数据，以减少执行时间。这是通过在查询计划中插入并行节点来实现的。

请注意，并行查询只适用于某些类型的操作，例如全表扫描或索引扫描，对于需要复杂计算的操作，如连接（JOIN）或聚合（GROUP BY），并行查询可能不会提高性能。此外，确保硬件资源（CPU核心数和内存）足以支持所需的并行工作进程。

- 阅读更多 -
Spring之微服务架构与Spring Cloud
System
2024-09-09
所有,java

Spring框架是Java开发中最受欢迎的框架之一，它提供了一种简化企业级应用开发的方法。Spring Cloud是Spring的一部分，它提供了一些工具来简化分布式系统的开发。

Spring Cloud包含的主要组件有：

  • Eureka：服务发现组件，用于微服务之间的通信和负载均衡。
  • Ribbon：客户端负载均衡器，用于服务之间的负载均衡调用。
  • Hystrix：断路器，提供服务和依赖的隔离、熔断和降级等机制。
  • Feign：声明式服务调用组件，用于简化服务之间的HTTP调用。
  • Config：分布式配置管理工具，用于集中管理微服务的配置信息。
  • Bus：消息总线，用于集成消息代理，实现服务与服务之间的消息通信。

以下是一个使用Spring Cloud的Eureka服务发现的简单示例：

  1. 添加依赖到pom.xml：



<dependencies>
    <dependency>
        <groupId>org.springframework.cloud</groupId>
        <artifactId>spring-cloud-starter-netflix-eureka-server</artifactId>
    </dependency>
</dependencies>
 
<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-dependencies</artifactId>
            <version>Finchley.SR2</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>
  1. 配置application.properties：



spring.application.name=eureka-server
server.port=8761
eureka.client.register-with-eureka=false
eureka.client.fetch-registry=false
eureka.client.serviceUrl.defaultZone=http://localhost:8761/eureka/
  1. 启动类添加@EnableEurekaServer注解：



import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.netflix.eureka.server.EnableEurekaServer;
 
@EnableEurekaServer
@SpringBootApplication
public class EurekaServerApplication {
 
    public static void main(String[] args) {
        SpringApplication.run(EurekaServerApplication.class, args);
    }
}

以上代码创建了一个简单的Eureka服务器，它可以用作服务注册中心。在微服务架构中，服务注册和发现是核心组件之一，Spring Cloud通过Eureka实现了这一功能。

- 阅读更多 -
SpringBoot---内置Tomcat 配置和切换
System
2024-09-09
所有,java

在Spring Boot中，您可以通过配置文件来配置内嵌的Tomcat服务器，并且可以轻松切换到不同的服务器，例如Jetty或Undertow。

  1. 配置内嵌Tomcat:

Spring Boot默认内嵌Tomcat，因此无需额外配置。如果需要自定义配置，可以在application.properties或application.yml中设置相关属性。例如，更改Tomcat的端口号：




server.port=8081

或者使用YAML格式：




server:
  port: 8081
  1. 切换服务器:

要切换服务器，您需要排除内嵌的Tomcat依赖并添加对所需服务器的依赖。

例如，要使用Jetty服务器，您可以在pom.xml中添加以下依赖：




<!-- 排除Tomcat依赖 -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
    <exclusions>
        <exclusion>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-tomcat</artifactId>
        </exclusion>
    </exclusions>
</dependency>
 
<!-- 添加Jetty依赖 -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-jetty</artifactId>
</dependency>

对于Undertow，只需更改相应的依赖。

这样，您就可以根据需要配置内嵌的Tomcat或切换到其他服务器。

- 阅读更多 -
Copyright © 2025 Tech Blog
All Right Reserved | 京ICP备19053165号