分类 redis 下的文章

2024-09-02

解释：

这个错误表示Redis遇到了内存使用超出限制的问题。当Redis使用的内存超过了配置的maxmemory值时，它会根据配置的内存淘汰策略(memory policy)来决定如何处理新的写命令。如果当前策略设置为不允许写操作，那么Redis会返回这个错误。

解决方法：

增加物理内存或调整maxmemory配置，以便Redis可以使用更多内存。
优化应用程序的数据访问，减少每个键的内存使用量。
使用更合适的内存淘汰策略，例如volatile-lru、allkeys-lru、volatile-random、allkeys-random、volatile-ttl或noeviction。可以在Redis配置文件中设置maxmemory-policy指令来实现。
如果已经设置了appendonly yes，则可以考虑关闭AOF持久化或调整AOF重写规则，以减少磁盘占用。
定期监控Redis内存使用情况，并在达到阈值之前采取行动，例如通过脚本触发RDB快照或清理数据。

在实施任何解决方案之前，请确保理解当前的数据访问模式，并对可能的后果（如数据丢失）有充分的认识。

redis实现全局唯一ID,全局唯一ID生成器

2024-09-02

在Redis中实现一个全局唯一ID生成器，可以使用Redis的原子操作INCR或INCRBY命令。以下是一个使用Python和redis-py库的示例代码：




import redis
 
class RedisUniqueIDGenerator:
    def __init__(self, redis_host, redis_port, redis_db):
        self.redis = redis.StrictRedis(host=redis_host, port=redis_port, db=redis_db)
 
    def get_next_id(self, key_prefix):
        # 使用Redis的INCR命令生成唯一ID
        # INCR会将键的整数值增加1，不存在则设置为0后再操作
        return self.redis.incr(key_prefix)
 
# 使用示例
redis_host = 'localhost'
redis_port = 6379
redis_db = 0
uid_generator = RedisUniqueIDGenerator(redis_host, redis_port, redis_db)
 
# 获取一个全局唯一ID
user_id = uid_generator.get_next_id('user:id:')
print(f"Generated unique ID: {user_id}")

在这个示例中，每次调用get_next_id方法时，都会为给定的key_prefix生成一个新的唯一ID。key_prefix可以是用户ID的前缀，例如'user:id:'，这样每个用户的ID都会通过这个前缀区分开来。注意，这个生成器依赖于Redis的INCR命令，因此需要确保Redis服务器可用并正确配置。

Redis的持久化详解

2024-09-02

Redis的持久化主要有两种方式：RDB（Redis DataBase）和AOF（Append Only File）。

RDB：定时将内存中的数据快照保存到磁盘的一个压缩二进制文件中。可以配置定时任务来控制快照的频率。




# 配置保存点（在redis.conf中设置）
save 900 1      # 900秒内至少1个键被修改则保存
save 300 10     # 300秒内至少10个键被修改则保存
save 60 10000   # 60秒内至少10000个键被修改则保存

AOF：每个写命令都通过append操作保存到文件中。在服务重启时，通过重放这些命令来恢复数据。




# 配置AOF持久化（在redis.conf中设置）
appendonly yes       # 开启AOF持久化
appendfilename "appendonly.aof"  # AOF文件名
# appendfsync always   # 每个命令都同步，最慢但最安全
# appendfsync everysec # 每秒同步一次，折衷方案
# appendfsync no       # 由操作系统决定何时同步

在实际应用中，可以两者结合使用，或者只使用其中一种。根据需求和性能考量，选择合适的持久化策略。

2024-09-02

以下是一个简化的示例，展示了如何使用Spring Cloud、Spring Boot、OAuth2和Spring Security结合Redis实现微服务统一认证授权。




@Configuration
@EnableAuthorizationServer
public class AuthServerConfig extends AuthorizationServerConfigurerAdapter {
 
    @Autowired
    private AuthenticationManager authenticationManager;
 
    @Autowired
    private RedisConnectionFactory redisConnectionFactory;
 
    @Override
    public void configure(ClientDetailsServiceConfigurer clients) throws Exception {
        clients.inMemory()
            .withClient("client")
            .secret("secret")
            .authorizedGrantTypes("password", "refresh_token")
            .scopes("read", "write")
            .accessTokenValiditySeconds(1200)
            .refreshTokenValiditySeconds(2592000);
    }
 
    @Override
    public void configure(AuthorizationServerEndpointsConfigurer endpoints) throws Exception {
        endpoints
            .authenticationManager(authenticationManager)
            .tokenStore(new RedisTokenStore(redisConnectionFactory))
            .accessTokenConverter(jwtAccessTokenConverter());
    }
 
    @Bean
    public JwtAccessTokenConverter jwtAccessTokenConverter() {
        JwtAccessTokenConverter converter = new JwtAccessTokenConverter();
        converter.setSigningKey("123456");
        return converter;
    }
}
 
@Configuration
public class ResourceServerConfig extends ResourceServerConfigurerAdapter {
 
    @Override
    public void configure(HttpSecurity http) throws Exception {
        http
            .authorizeRequests()
            .antMatchers("/api/**").permitAll()
            .anyRequest().authenticated();
    }
}
 
@Configuration
public class SecurityConfig extends WebSecurityConfigurerAdapter {
 
    @Autowired
    private UserDetailsService userDetailsService;
 
    @Bean
    public BCryptPasswordEncoder passwordEncoder() {
        return new BCryptPasswordEncoder();
    }
 
    @Override
    protected void configure(AuthenticationManagerBuilder auth) throws Exception {
        auth.userDetailsService(userDetailsService).passwordEncoder(passwordEncoder());
    }
 
    @Override
    @Bean
    public AuthenticationManager authenticationManagerBean() throws Exception {
        return super.authenticationManagerBean();
    }
}
 
@Service
public class UserDetailsServiceImpl implements UserDetailsService {
 
    @Override
    public UserDetails loadUserByUsername(String

2024-09-02

在Linux环境下搭建Redis服务并使用内网穿透实现远程管理的步骤概要如下：

安装Redis：




sudo apt update
sudo apt install redis-server

配置Redis以允许远程连接（修改配置文件redis.conf）：




sudo nano /etc/redis/redis.conf

找到 bind 127.0.0.1 并将其注释掉或者改为 bind 0.0.0.0，然后保存文件。

重启Redis服务以应用更改：




sudo systemctl restart redis.service

设置防火墙允许Redis端口（默认6379）：




sudo ufw allow 6379/tcp

安装并设置内网穿透工具，例如 frp 或 ngrok：




# 以frp为例，需要从官网下载frp相关文件并配置frps.ini和frpc.ini

使用GUI工具连接远程Redis实例，例如使用 Redis Desktop Manager：
在GUI工具中输入内网穿透后的公网IP和端口，使用设置的用户名和密码连接。

请注意，这些步骤提供了一个基本的框架，您需要根据自己的网络环境和安全需求进行适当的配置。确保您的Redis实例和内网穿透服务都得到了正确的安全加固。

2024-09-02

解释：

这个警告信息表示你正在使用的配置属性 spring.redis.host 已不再推荐使用。在新版本的Spring框架中，可能会有新的配置方式来替代它。

解决方法：

你需要根据最新的Spring框架文档来更新你的配置。通常，你可以在Spring的官方文档中找到关于配置属性更新和弃用通知的信息。

停止使用已弃用的配置属性 spring.redis.host。
根据最新的配置标准，使用新的配置属性来指定Redis的主机地址。例如，在Spring Data Redis中，你可能需要使用 spring.redis.endpoint.host 或者其他类似的配置。
确保你的配置文件（如application.properties或application.yml）中的其他相关配置也已更新。
重新启动你的应用，确保新的配置生效。
如果你不确定如何更新配置，可以参考Spring Boot和Spring Data Redis的官方文档。

redis 入门，一起学习redis

2024-09-02

Redis 是一个开源的，基于内存的数据结构存储系统，可以用作数据库、缓存和消息中间件。以下是一些基本的 Redis 命令和使用场景：

字符串(String)

存储：SET key value

获取：GET key

哈希表(Hash)

存储：HSET hash_key field value

获取：HGET hash_key field

列表(List)

存储：LPUSH list_key value

获取：LRANGE list_key 0 -1

集合(Set)

存储：SADD set_key member

获取：SMEMBERS set_key

有序集合(Sorted Set)

存储：ZADD sorted_set_key score member

获取：ZRANGE sorted_set_key 0 -1 WITHSCORES

过期时间

设置过期时间：EXPIRE key seconds

删除键：DEL key

发布/订阅

发布消息：PUBLISH channel message

订阅频道：SUBSCRIBE channel

事务

开始事务：MULTI

执行事务：EXEC

键操作

查看所有键：KEYS *

删除键：DEL key

检查键是否存在：EXISTS key

持久化

快照持久化：保存整个数据库的状态

AOF持久化：保存所有写操作命令

安装和运行 Redis 服务器：




# 下载
wget http://download.redis.io/releases/redis-6.2.6.tar.gz
tar xzf redis-6.2.6.tar.gz
cd redis-6.2.6
 
# 编译
make
 
# 运行
src/redis-server

使用 Python 连接和操作 Redis：




import redis
 
# 连接到本地Redis实例
r = redis.Redis(host='localhost', port=6379, db=0)
 
# 设置键值
r.set('foo', 'bar')
 
# 获取键值
value = r.get('foo')
print(value) # 输出：b'bar'
 
# 使用哈希表
r.hset('myhash', 'field1', 'value1')
print(r.hget('myhash', 'field1')) # 输出：b'value1'
 
# 使用列表
r.lpush('mylist', 'element1')
print(r.lrange('mylist', 0, -1)) # 输出：[b'element1']
 
# 使用集合
r.sadd('myset', 'member1')
print(r.smembers('myset')) # 输出：{b'member1'}
 
# 使用有序集合
r.zadd('myzset', {'member1': 1})
print(r.zrange('myzset', 0, -1, withscores=True)) # 输出：[b'member1', 1.0]
 
# 关闭连接
r.close()

以上是 Redis 的基本操作和使用场景，更多高级特性和使用请参考官方文档。

04-NoSQL之Redis集群方式

2024-09-02




# 假设您已经有了一个Redis Cluster的环境，并且知道如何访问它。
# 以下是使用Python连接到Redis Cluster并执行一些基本命令的示例代码：
 
```python
from rediscluster import RedisCluster
 
# 假设Redis Cluster节点配置如下:
startup_nodes = [
    {"host": "127.0.0.1", "port": "7000"},
    {"host": "127.0.0.1", "port": "7001"},
    {"host": "127.0.0.1", "port": "7002"}
]
 
# 连接到Redis Cluster
rc = RedisCluster(startup_nodes=startup_nodes, decode_responses=True)
 
# 设置键值对
rc.set("foo", "bar")
 
# 获取键的值
value = rc.get("foo")
print(value)  # 输出: bar
 
# 执行其他Redis命令...
 
# 关闭连接
rc.connection_pool.disconnect()

这段代码演示了如何使用redis-py-cluster库（一个Redis Cluster的Python客户端）连接到Redis Cluster，并执行一些简单的操作。在实际应用中，你需要根据你的Redis Cluster配置调整startup_nodes中的节点信息。

Scrapy-Redis分布式爬虫

2024-09-02




import scrapy
from scrapy_redis.spiders import RedisSpider
from scrapy_redis.items import RedisItem
 
class MySpider(RedisSpider):
    name = 'my_spider'
    redis_key = 'my_spider:start_urls'
 
    def parse(self, response):
        # 解析响应内容，提取items
        item = RedisItem()
        # 填充item字段
        item['field'] = 'value'
        return item

这个简单的示例展示了如何使用scrapy_redis库创建一个名为my_spider的RedisSpider。这个爬虫从my_spider:start_urls键中读取起始URL，并在解析每个响应时提取items，这些items会自动被序列化并存储到Redis中。注意，这只是一个框架，你需要根据实际情况进行详细的字段填充和数据解析。