大数据-49 Redis 缓存问题中 穿透、雪崩、击穿、数据不一致、HotKey、BigKey

穿透:

用户查询数据时,Redis和数据库中都没有数据,用户请求会穿过Redis直接打到数据库,可能导致数据库压力增加。

解决方法:

  • 使用布隆过滤器:在应用层维护一个布隆过滤器,记录所有可能存在的键。当用户请求时,先检查布隆过滤器,如果不存在,就直接返回,不进行数据库查询。

雪崩:

当Redis缓存服务器宕机或大量缓存失效时,大量请求直接打到数据库,导致数据库压力剧增。

解决方法:

  • 设置合理的缓存失效时间:保证缓存失效均匀分布。
  • 缓存预加载:在热点数据即将失效前预先更新缓存。
  • 使用Redis集群:提高Redis的可用性。
  • 设置缓存降级策略:当Redis不可用时,使用本地缓存或默认值。

击穿:

一个Key突然过期,导致大量请求击穿到数据库。

解决方法:

  • 设置热点数据永不过期或访问量较少时不设置过期时间。
  • 使用分布式锁:确保只有一个线程去数据库加载数据并更新缓存。

数据不一致:

缓存和数据库数据不一致的问题。

解决方法:

  • 更新缓存时同时更新数据库。
  • 使用事务或锁保证数据一致性。

HotKey:

某个Key的访问量极大,导致Redis负载过重。

解决方法:

  • 使用缓存分层:保存热点数据的不同层次,减少单个Redis的压力。
  • 使用LRU或LFU策略:自动淘汰不常用的Key。

BigKey:

某个Key占用的内存空间大,可能导致内存碎片和性能问题。

解决方法:

  • 避免使用大型的数据结构,如HASH、SET等,尽量使用小型数据结构。
  • 使用SCAN命令分批获取大集合中的元素。
  • 定期检查和清理不再需要的数据。
最后修改于:2024年08月29日 09:16

评论已关闭

推荐阅读

DDPG 模型解析,附Pytorch完整代码
2024年11月24日
DQN 模型解析,附Pytorch完整代码
2024年11月24日
AIGC实战——Transformer模型
2024年12月01日
Socket TCP 和 UDP 编程基础(Python)
2024年11月30日
python , tcp , udp
如何使用 ChatGPT 进行学术润色?你需要这些指令
2024年12月01日
AI
最新 Python 调用 OpenAi 详细教程实现问答、图像合成、图像理解、语音合成、语音识别(详细教程)
2024年11月24日
ChatGPT 和 DALL·E 2 配合生成故事绘本
2024年12月01日
omegaconf,一个超强的 Python 库!
2024年11月24日
【视觉AIGC识别】误差特征、人脸伪造检测、其他类型假图检测
2024年12月01日
[超级详细]如何在深度学习训练模型过程中使用 GPU 加速
2024年11月29日
Python 物理引擎pymunk最完整教程
2024年11月27日
MediaPipe 人体姿态与手指关键点检测教程
2024年11月27日
深入了解 Taipy:Python 打造 Web 应用的全面教程
2024年11月26日
基于Transformer的时间序列预测模型
2024年11月25日
Python在金融大数据分析中的AI应用(股价分析、量化交易)实战
2024年11月25日
AIGC Gradio系列学习教程之Components
2024年12月01日
Python3 `asyncio` — 异步 I/O,事件循环和并发工具
2024年11月30日
llama-factory SFT系列教程:大模型在自定义数据集 LoRA 训练与部署
2024年12月01日
Python 多线程和多进程用法
2024年11月24日
Python socket详解,全网最全教程
2024年11月27日