分类 redis 下的文章

2024-09-05

缓存雪崩：

指在同一时段大量的缓存失效，导致数据查询直接打到数据库，可能会使数据库崩溃。

解决方法：

使用互斥锁控制缓存失效时间分散。
设置缓存数据的过期时间时，加上一个随机因子，避免集体过期。
如果缓存数据需要更新，可以使用异步更新策略，避免大量并发直接打到数据库。

缓存穿透：

指查询不存在的数据，缓存中没有数据，每次都会打到数据库。

解决方法：

使用布隆过滤器，先检查数据是否存在。
如果查询参数非法或者不合法，直接返回错误信息。
缓存空对象，防止未来相同的查询再次打到数据库。

缓存预热：

系统启动前，将相关缓存数据预先加载到缓存系统。

解决方法：

手动预加载。
在系统启动时自动执行预热操作。

缓存更新：

解决方法：

主动更新：数据变更时，直接更新缓存。
定时更新：使用定时任务更新缓存数据。

缓存降级：

系统负载过高时，为了保证系统稳定性，可以选择降级部分服务。

解决方法：

根据负载情况，动态降级缓存服务。
提供备用缓存策略，如使用本地缓存或文件缓存。

注意：具体解决方案可能需要根据实际业务场景进行调整。

【Redis】Redis的持久化方式RDB和AOF配置

2024-09-05

Redis提供了两种持久化方式：RDB（Redis DataBase）和AOF（Append Only File）。

RDB 配置

在redis.conf文件中找到以下配置项并进行相应设置：




# 是否开启RDB
save "时间间隔" "写操作次数"
# 例如：900秒后如果有1次写操作，则触发BGSAVE命令
save 900 1
# BGSAVE出错时是否继续提供写服务
stop-writes-on-bgsave-error yes
# RDB文件名
dbfilename dump.rdb
# RDB文件和AOF文件存放路径
dir /path/to/your/redis/directory

AOF 配置

在redis.conf文件中找到以下配置项并进行相应设置：




# 是否开启AOF
appendonly yes
# AOF文件名
appendfilename "appendonly.aof"
# AOF文件的更新频率
appendfsync everysec
# 是否在AOF重写期间同步
no-appendfsync-on-rewrite no
# AOF文件大小超过此值时触发重写
auto-aof-rewrite-percentage 100
# AOF文件体积最小达到此大小才可重写
auto-aof-rewrite-min-size 64mb

注意：在实际生产环境中，通常会同时使用RDB和AOF两种持久化方式，以此来保证数据的持久性和可恢复性。

2024-09-05




import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.context.annotation.Bean;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.connection.lettuce.LettuceConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.StringRedisTemplate;
 
@SpringBootApplication
public class RedisLettuceApplication {
 
    public static void main(String[] args) {
        SpringApplication.run(RedisLettuceApplication.class, args);
    }
 
    // 使用LettuceConnectionFactory配置RedisConnectionFactory
    @Bean
    public LettuceConnectionFactory redisConnectionFactory() {
        return new LettuceConnectionFactory();
    }
 
    // 使用RedisTemplate<String, Object>配置RedisTemplate
    @Bean
    public RedisTemplate<String, Object> redisTemplate() {
        final RedisTemplate<String, Object> template = new RedisTemplate<>();
        template.setConnectionFactory(redisConnectionFactory());
        return template;
    }
 
    // 使用StringRedisTemplate配置StringRedisTemplate
    @Bean
    public StringRedisTemplate stringRedisTemplate() {
        final StringRedisTemplate template = new StringRedisTemplate();
        template.setConnectionFactory(redisConnectionFactory());
        return template;
    }
}

这段代码演示了如何在Spring Boot应用程序中配置Lettuce作为Redis连接库。它定义了一个LettuceConnectionFactory Bean，并且还提供了RedisTemplate和StringRedisTemplate的配置，这些模板可以用于操作Redis数据库。

Redis7.0.15 主从复制、哨兵模式搭建

2024-09-05

在搭建Redis 7.0.15的主从复制和哨兵模式时，你需要做以下几个步骤：

安装Redis 7.0.15。
配置主节点（Master）。
配置从节点（Slave）。
配置哨兵模式。

以下是相关的配置文件示例和步骤：

安装Redis 7.0.15。

你可以通过官方指南或包管理器来安装Redis。

配置主节点（Master）。

编辑主节点的redis.conf文件，确保以下配置项：




bind 0.0.0.0
port 6379

启动主节点的Redis服务。

配置从节点（Slave）。

编辑从节点的redis.conf文件，确保以下配置项：




bind 0.0.0.0
port 6380
slaveof <master-ip> <master-port>

替换<master-ip>和<master-port>为主节点的IP地址和端口号。

启动从节点的Redis服务。

配置哨兵模式。

在Redis的安装目录下创建一个sentinel.conf文件，并添加以下配置：




sentinel monitor mymaster <master-ip> <master-port> 2
sentinel down-after-milliseconds mymaster 30000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000

替换<master-ip>和<master-port>为主节点的IP地址和端口号。

启动哨兵：




redis-sentinel sentinel.conf

以上步骤和配置足以搭建一个基本的Redis主从复制和哨兵模式的环境。记得根据实际环境对配置进行适当的安全加固和性能优化。

2024-09-05

由于这个问题涉及的内容较多，我将提供一个概览式的指导和代码实例。请注意，这些步骤和代码是基于假设你已经有了基本的命令行操作知识和对计算机网络有所了解的前提。

安装CentOS:

首先，你需要下载CentOS的ISO镜像文件，并在VMware中创建一个新的虚拟机。然后，你可以使用以下命令来安装CentOS:




# 挂载CentOS安装镜像
sudo mount /dev/cdrom /mnt
 
# 使用图形安装界面（可选）
sudo yum install system-config-kickstart
sudo system-config-kickstart
 
# 使用命令行自动安装（推荐）
sudo yum install -y anaconda
sudo cp -a /mnt/images/install.img /var/www/html/
sudo systemctl start httpd
sudo anaconda --kickstart /var/www/html/install.img

在CentOS上安装Docker:




# 添加Docker仓库
sudo tee /etc/yum.repos.d/docker.repo <<-'EOF'
[dockerrepo]
name=Docker Repository
baseurl=https://yum.dockerproject.org/repo/main/centos/$releasever/
enabled=1
gpgcheck=1
gpgkey=https://yum.dockerproject.org/gpg
EOF
 
# 安装Docker
sudo yum install -y docker-engine
 
# 启动Docker守护进程
sudo systemctl start docker

使用Docker安装MySQL和Redis:




# 拉取MySQL镜像
sudo docker pull mysql
 
# 运行MySQL容器
sudo docker run --name some-mysql -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql
 
# 拉取Redis镜像
sudo docker pull redis
 
# 运行Redis容器
sudo docker run --name some-redis -d redis

请注意，你需要根据自己的需求来调整环境变量和配置选项。例如，你可能需要映射端口，挂载数据卷，或者设置环境变量来配置MySQL和Redis。

以上步骤和代码是概览式的，并且假设你已经有了相关的权限和网络连接。在实际操作中，你可能需要根据具体的网络环境和安全策略来调整这些步骤。

Redis的数据类型Hash使用场景实战

2024-09-05




import redis
 
# 连接Redis
r = redis.Redis(host='localhost', port=6379, db=0)
 
# 使用Redis的哈希表(hash)数据类型存储用户信息
def store_user_info(user_id, user_info):
    r.hset('users', user_id, user_info)
 
# 使用Redis的哈希表(hash)数据类型获取用户信息
def get_user_info(user_id):
    return r.hget('users', user_id)
 
# 使用Redis的哈希表(hash)数据类型更新用户信息的特定字段
def update_user_info(user_id, field, value):
    r.hset('users', f"{user_id}:{field}", value)
 
# 使用Redis的哈希表(hash)数据类型删除用户信息
def delete_user_info(user_id):
    r.hdel('users', user_id)
 
# 示例：存储、获取、更新和删除用户信息
store_user_info('1001', '{"name": "Alice", "email": "alice@example.com"}')
user_info = get_user_info('1001')
print(f"User Info: {user_info}")
update_user_info('1001', 'email', 'alice_new@example.com')
user_info_updated = get_user_info('1001')
print(f"Updated User Info: {user_info_updated}")
delete_user_info('1001')

这段代码演示了如何使用Redis的哈希表(hash)数据类型来存储、获取、更新和删除用户信息。它首先连接到Redis实例，然后定义了几个函数来执行基本的哈希表操作。最后，它演示了如何存储一个用户信息，获取它，更新其部分信息，并最终删除这个用户信息。

Redis-5种基本数据结构详解

2024-09-05

Redis 是一个使用 C 语言编写的开源、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库，并提供多种语言的 API。

Redis 基本数据结构包括：字符串（String），哈希（Hash），列表（List），集合（Set），有序集合（Sorted Set），位图（Bitmap），超日志（HyperLogLog），地理位置（Geo）等。

字符串（String）
字符串是 Redis 最基本的数据类型。你可以理解成与 Memcached 一模一样的类型，即键值对中的值仅为字符串。字符串类型是二进制安全的，这意味着你可以用它存储任何数据，如图片，音频，视频，序列化对象等。




# 设置键值
redis.set('key', 'value')
# 获取键值
redis.get('key')

哈希（Hash）
Redis 的哈希是一个键值对（key-value）的集合。




# 设置哈希值
redis.hset('hashkey', 'field', 'value')
# 获取哈希值
redis.hget('hashkey', 'field')

列表（List）
Redis 的列表是简单的字符串列表，你可以往列表的头部或尾部添加元素。




# 在列表头部添加元素
redis.lpush('listkey', 'value1')
# 在列表尾部添加元素
redis.rpush('listkey', 'value2')
# 获取列表元素
redis.lrange('listkey', 0, -1)

集合（Set）
Redis 的集合是无序的字符串集合。你可以添加，删除，检查一个元素是否存在于集合中。




# 添加元素
redis.sadd('setkey', 'value1')
# 删除元素
redis.srem('setkey', 'value1')
# 检查元素是否存在
redis.sismember('setkey', 'value1')

有序集合（Sorted Set）
Redis 的有序集合是字符串的有序集合。你可以添加，删除，按排名查找元素。有序集合中的每一个成员都有一个分数与之相关联，这个分数用于排序。




# 添加元素
redis.zadd('zsetkey', {'value1': 1, 'value2': 2})
# 获取排名在某个范围的元素列表
redis.zrange('zsetkey', 0, -1)

以上就是 Redis 的五种基本数据结构的基本使用方法。

基于express框架 + redis的邮件验证的后端Demo

2024-09-05

以下是一个使用Express框架和Redis实现邮箱验证的简单后端示例代码：




const express = require('express');
const redis = require('redis');
const { promisify } = require('util');
 
const app = express();
const redisClient = redis.createClient();
const setAsync = promisify(redisClient.set).bind(redisClient);
const getAsync = promisify(redisClient.get).bind(redisClient);
const delAsync = promisify(redisClient.del).bind(redisClient);
 
// 生成验证令牌
function generateToken() {
  return new Promise((resolve, reject) => {
    require('crypto').randomBytes(20, (err, buffer) => {
      if (err) {
        reject(err);
      } else {
        resolve(buffer.toString('hex'));
      }
    });
  });
}
 
// 邮箱验证接口
app.post('/api/verify-email', async (req, res) => {
  const { email } = req.body;
  if (!email) {
    return res.status(400).send('Email is required.');
  }
 
  try {
    const token = await generateToken();
    await setAsync(token, email);
    await setAsync(`${token}:sentAt`, Date.now());
 
    // 这里应当实现发送邮件的逻辑，例如使用Nodemailer
    // 模拟发送邮件逻辑
    console.log(`Verification email sent to ${email} with token ${token}`);
    res.status(200).send('Email verification link has been sent.');
  } catch (error) {
    console.error('Error generating email verification token:', error);
    res.status(500).send('Internal server error.');
  }
});
 
// 验证邮箱接口
app.get('/api/verify-email/:token', async (req, res) => {
  const token = req.params.token;
  try {
    const email = await getAsync(token);
    if (!email) {
      return res.status(400).send('Invalid or expired token.');
    }
 
    await delAsync(token);
    await delAsync(`${token}:sentAt`);
 
    // 这里应当实现用户邮箱验证通过后的逻辑处理
    // 例如更新用户数据库记录等
    console.log(`Email ${email} has been verified.`);
    res.status(200).send('Email has been successfully verified.');
  } catch (error) {
    console.error('Error verifying email:', error);
    res.status(500).send('Internal server error.');
  }
});
 
const PORT = process.env.PORT || 3000;
app.listen(PORT, () => {
  console.log(`Server is running on port ${PORT}`);
});

这段代码提供了两个API端点：

/api/verify-email：接收用户邮箱，生成一个新的令牌，并将邮箱和令牌存储在Redis中。然后，应当实现发送邮件的逻辑。
/api/verify-email/:token：验证令牌是否有效，如果有效，则删除令牌并将用户邮箱标记为已验证。然后，应当实现用户邮箱验证通过后的逻辑处理。

请注意，这个示例并不包括邮件发送逻辑（如使用Nodemailer发送邮件），只是模拟发送邮件的逻辑。实际应用中，你需要实现发送邮件的代码，并确保邮件中包含可以被用来验证用户的URL。

2024-09-05

在Redis中，有效地管理和使用内存是至关重要的，因为Redis的数据都保存在内存中。Redis的数据结构非常丰富，包括string、list、set、zset、hash以及基于这些数据结构的bitmap和hyperloglog等，它们的底层实现也各不相同。

在这个系列中，我们将深入解析Redis的内存存储模型和数据结构的底层实现。我们将从RedisObject结构开始，它是所有Redis数据类型的基础，然后逐一介绍string、list、set、zset、hash以及bitmap和hyperloglog的实现和优化。




// 示例：RedisObject结构体
struct RedisObject {
    int4 type; // 对象类型
    int4 encoding; // 对象内部编码
    int4 lru; // 对象最后一次被访问的时间
    int4 refcount; // 对象的引用计数
    void *ptr; // 指向实际的数据
};
 
// 示例：字符串对象的简单实现
struct RedisString {
    struct RedisObject ro; // 继承RedisObject结构
    char *buffer; // 字符串内容
    int length; // 字符串长度
};
 
// 示例：Redis中的字符串设置操作
void setCommand(client *c) {
    // 假设c->argv[1]是key，c->argv[2]是value
    RedisString *o = createStringObject(c->argv[2]->ptr, sdslen(c->argv[2]->ptr));
    dictAdd(db->dict, c->argv[1]->ptr, o);
}

在这个系列中，我们将深入到源代码层面，解析每种数据结构的实现细节，并讨论它们如何优化内存使用和性能。通过这个系列，开发者可以更深入地了解Redis的底层机制，从而能更好地使用Redis。

2024-09-05

Linux内核为了在内存不足时避免系统崩溃，提供了OOM Killer（Out-Of-Memory Killer）机制。这是一个Tasksize守护进程，会在系统内存不足时选择一些进程杀死以释放内存。

为了防止OOM Killer杀死重要进程，可以采取以下措施：

优化内存使用：减少不必要的内存占用，例如通过配置减少Redis的内存占用。
增加内存：这是最直接的方法，但可能成本较高。
调整OOM Killer的行为：可以通过修改/etc/sysctl.conf文件中的内核参数来降低OOM Killer的敏感度。

例如，可以通过以下方式来减少Redis的内存占用：




# 修改Redis配置文件
vim /etc/redis/redis.conf
 
# 设置最大内存占用，例如只使用50%的物理内存
maxmemory 50%
 
# 重启Redis服务以应用配置
sudo systemctl restart redis.service

同时，你也可以通过sysctl命令临时或永久调整OOM Killer的行为：




# 设置内核参数vm.overcommit_memory为1，允许超量分配内存（不推荐，可能导致系统不稳定）
sudo sysctl vm.overcommit_memory=1
 
# 设置内核参数vm.panic_on_oom为0，当内存耗尽时，不会导致系统崩溃
sudo sysctl vm.panic_on_oom=0

请注意，调整内核参数可能会影响系统的稳定性，应谨慎操作。通常，最佳实践是优化应用配置和/或增加服务器内存。