2024-08-28



@LocalTCC
public class BusinessService implements BusinessServiceAPI {
 
    @Autowired
    private AccountService accountService;
 
    @Override
    @TwoPhaseBusinessAction(name = "BusinessAction", commitMethod = "commit", rollbackMethod = "rollback")
    public boolean prepare(BusinessActionContext actionContext, String businessAction, int amount) {
        return accountService.debit(businessAction, amount);
    }
 
    public boolean commit(BusinessActionContext actionContext) {
        return accountService.debit(actionContext.getActionName(), 1);
    }
 
    public boolean rollback(BusinessActionContext actionContext) {
        return accountService.credit(actionContext.getActionName(), 1);
    }
}
 
@Service
public class AccountService {
 
    @GlobalTransactional
    public boolean debit(String actionName, int amount) {
        // 模拟扣款操作
        System.out.println(actionName + " 扣款 " + amount + " 成功");
        return true;
    }
 
    public boolean credit(String actionName, int amount) {
        // 模拟补偿操作
        System.out.println(actionName + " 补偿  " + amount + " 成功");
        return true;
    }
}

这个代码示例展示了如何在Spring Cloud应用中使用Seata实现TCC模式的分布式事务。BusinessService类通过@LocalTCC注解标记为TCC服务类。该类中的prepare方法用于准备销售业务,并且通过@TwoPhaseBusinessAction注解指定了该操作是一个两阶段的业务动作。commitrollback方法分别用于提交和回滚业务。AccountService中的debitcredit方法分别用于模拟扣款和补偿操作。这个例子简单明了地展示了TCC模式在实际业务中的应用。

2024-08-28

在Spring Boot中使用Redis实现分布式锁通常涉及到RedisTemplateStringRedisTemplate。以下是一个简单的示例,展示了在Spring Boot应用中如何在事务提交后释放Redis分布式锁:




import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.transaction.annotation.Transactional;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
 
@RestController
public class DistributedLockController {
 
    @Autowired
    private StringRedisTemplate redisTemplate;
 
    private static final String LOCK_KEY = "distributed_lock";
 
    @GetMapping("/acquireLock")
    public String acquireLock() {
        boolean locked = tryLock(LOCK_KEY);
        if (locked) {
            // 模拟业务逻辑处理
            doBusinessLogic();
            // 释放锁
            unlock(LOCK_KEY);
            return "Lock released";
        } else {
            return "Failed to acquire lock";
        }
    }
 
    private boolean tryLock(String key) {
        // 尝试获取锁,使用 SET key value NX PX milliseconds 命令
        Boolean locked = redisTemplate.opsForValue().setIfAbsent(key, "lock_value", 10, TimeUnit.SECONDS);
        return Boolean.TRUE.equals(locked);
    }
 
    private void unlock(String key) {
        // 释放锁,删除键
        redisTemplate.delete(key);
    }
 
    @Transactional
    private void doBusinessLogic() {
        // 事务性业务逻辑
    }
}

在这个例子中,tryLock 方法使用了 StringRedisTemplateopsForValue().setIfAbsent() 方法尝试获取锁,该方法在Redis中对应的是 SET key value NX PX milliseconds 命令,其中 NX 表示只在键不存在时设置值,PX 表示设置键的过期时间。

unlock 方法简单地使用了 StringRedisTemplatedelete() 方法释放锁,即删除键。

acquireLock 方法中,我们首先尝试获取锁,如果成功,则执行业务逻辑,在业务逻辑执行完毕后,无论成功还是回滚,都会释放锁。这里假设了业务逻辑在一个独立的方法 doBusinessLogic() 中,并用 @Transactional 注解标记,以确保业务逻辑在事务的上下文中执行。

请注意,这个例子中锁的过期时间设置为10秒,实际使用时应该根据业务场景适当调整锁的超时时间。同时,在高并发情况下,可能需要使用更复杂的算法来确保锁的安全性和效率。

2024-08-28

在使用Redisson提供的可重入锁时,每个Redisson客户端实例都有一个内部的LockWatchdogService服务,它会定时检查并刷新加锁的超时时长。当一个线程尝试获取锁时,如果该线程已经持有该锁,它会自动延长锁的超时时长,而不会因为重入而需要多次解锁。

以下是一个简化的示例代码,展示了如何使用Redisson的可重入锁:




import org.redisson.Redisson;
import org.redisson.api.RedissonClient;
import org.redisson.config.Config;
 
public class RedissonLockExample {
 
    public static void main(String[] args) {
        // 配置Redisson客户端
        Config config = new Config();
        config.useSingleServer().setAddress("redis://127.0.0.1:6379");
        RedissonClient redisson = Redisson.create(config);
 
        // 获取锁对象实例
        String lockKey = "anyLockKey";
        RedissonLock lock = redisson.getLock(lockKey);
 
        try {
            // 尝试加锁,最多等待100秒,锁定之后10秒自动解锁
            boolean isLocked = lock.tryLock(100, 10, TimeUnit.SECONDS);
            if (isLocked) {
                // 已加锁,执行业务逻辑
                System.out.println("Lock acquired");
                // 重入锁,再次获取相同的锁不会阻塞
                lock.lock();
                // 再次执行业务逻辑
                System.out.println("Lock re-acquired");
 
                // 重复解锁操作需要平衡,否则可能会导致其他等待该锁的线程无法获取锁
                lock.unlock();
                lock.unlock();
            }
        } catch (InterruptedException e) {
            e.printStackTrace();
        } finally {
            // 如果锁被占用,确保释放锁资源
            if (lock.isHeldByCurrentThread()) {
                lock.unlock();
            }
        }
 
        // 关闭Redisson客户端
        redisson.shutdown();
    }
}

在这个示例中,我们创建了一个RedissonClient实例,并获取了一个RedissonLock实例。我们尝试锁定一个资源,并在获得锁之后执行一些业务逻辑。在业务逻辑执行期间,我们可以重复获取同一个锁,而不会阻塞其他等待该锁的线程。最终,我们确保释放了所有的锁资源。

2024-08-28

在处理Redis分布式缓存时,我们通常需要考虑以下几个方面:

  1. 数据分区:确保数据能够在多个Redis实例之间适当分布。
  2. 高可用性:通过复制和持久化机制来保证Redis的高可用性。
  3. 负载均衡:合理分配客户端请求到不同的Redis实例。
  4. 故障转移和恢复:当一个Redis实例失效时,其他实例能够接管服务。

以下是一个简单的Redis分布式缓存的示例代码,使用了一个虚构的Redis分片集群:




from rediscluster import RedisCluster
 
# 假设Redis集群的节点配置如下
startup_nodes = [
    {"host": "127.0.0.1", "port": "7000"},
    {"host": "127.0.0.1", "port": "7001"},
    {"host": "127.0.0.1", "port": "7002"}
]
 
# 连接到Redis集群
rc = RedisCluster(startup_nodes=startup_nodes, decode_responses=True)
 
# 设置一个键值对,Redis会自动将数据分配到正确的分片
rc.set("key", "value")
 
# 获取键的值
value = rc.get("key")
print(value)

在这个例子中,我们使用了redis-py-cluster库,它是redis-py库的一个分布式扩展版本,可以自动处理数据分片和故障转移。这个代码片段展示了如何连接到Redis集群并简单地执行SET和GET操作。

请注意,实际应用中可能需要更复杂的逻辑来处理数据分配、故障转移和集群管理。

2024-08-28

Redis 的线程模型主要是指它的事件处理模型,基于epoll/kqueue等多路复用机制。Redis 使用单线程处理命令请求,因此不需要额外的锁机制来控制并发,这使得其执行效率非常高。

Redis 的持久化机制主要有两种:RDB 和 AOF。RDB 通过定时将内存中的数据快照保存到磁盘;AOF 记录每个写操作,以文本的形式保存,在重启时通过回放这些操作来恢复数据。

Redis 的高可用性实现主要通过哨兵(Sentinel)和分布式(Cluster)两种机制。哨兵负责监控主节点和从节点,并在主节点宕机时自动进行故障转移;Cluster 通过分片机制实现数据的分布式存储,提供了数据的高可用和扩展性。

以下是一个简单的 Redis Cluster 设置示例:




# 假设有三个 Redis 节点,分别运行在 7000, 7001, 7002 端口
redis-server --port 7000 --cluster-enabled yes --cluster-config-file nodes-7000.conf --cluster-node-timeout 5000 --appendonly yes --appendfilename appendonly-7000.aof --dbfilename dump-7000.rdb --logfile 7000.log
redis-server --port 7001 --cluster-enabled yes --cluster-config-file nodes-7001.conf --cluster-node-timeout 5000 --appendonly yes --appendfilename appendonly-7001.aof --dbfilename dump-7001.rdb --logfile 7001.log
redis-server --port 7002 --cluster-enabled yes --cluster-config-file nodes-7002.conf --cluster-node-timeout 5000 --appendonly yes --appendfilename appendonly-7002.aof --dbfilename dump-7002.rdb --logfile 7002.log

# 使用 redis-cli 创建集群
redis-cli --cluster create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 --cluster-replicas 1

在这个例子中,我们设置了三个 Redis 节点,并通过 redis-cli --cluster create 命令创建了一个包含这三个节点的 Redis Cluster,并设置了一个副本。这个 Cluster 可以自动处理数据分片和故障转移。

2024-08-27

在PostgreSQL中,可以使用Citus来实现分布式数据库的功能。以下是一个简单的示例,展示如何在单机上部署多个PostgreSQL实例,并使用Citus来实现分布式功能。

  1. 安装PostgreSQL和Citus:



# 安装PostgreSQL
sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list'
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -
sudo apt-get update
sudo apt-get -y install postgresql-14-citus-10.2
 
# 初始化数据库
sudo service postgresql start
sudo -u postgres createuser --createdb ubuntu
sudo -u postgres psql -c "CREATE EXTENSION citus;"
  1. 创建多个PostgreSQL实例:



# 创建第一个实例
sudo service postgresql start
sudo -u postgres createdb db1
 
# 创建第二个实例
sudo service postgresql start
sudo -u postgres createdb db2
 
# 将Citus扩展添加到每个数据库
sudo -u postgres psql db1 -c "CREATE EXTENSION citus;"
sudo -u postgres psql db2 -c "CREATE EXTENSION citus;"
  1. 配置每个实例的Citus设置:



-- 连接到第一个实例
sudo -u postgres psql db1
 
-- 配置Citus设置
SELECT * from master_add_node('localhost', 5433);
SELECT * from master_add_node('localhost', 5434);
SELECT * from master_create_tablespace_shard('shard1');
SELECT * from master_create_tablespace_shard('shard2');
 
-- 连接到第二个实例
sudo -u postgres psql db2
 
-- 同样配置Citus设置
SELECT * from master_add_node('localhost', 5433);
SELECT * from master_add_node('localhost', 5434);
SELECT * from master_create_tablespace_shard('shard1');
SELECT * from master_create_tablespace_shard('shard2');

以上步骤在单机上创建了多个PostgreSQL实例,并通过Citus将它们连接起来,实现分布式存储和处理。这只是一个简化的示例,实际部署时需要考虑更多的配置细节,比如端口号、数据库用户权限、防火墙设置等。

2024-08-27

在Redis 7中,分布式锁可以通过使用SET命令的NX(唯一性)和PX(过期时间)选项来实现。这里是一个使用Redis 7的分布式锁的Python示例,使用redis-py库:




import redis
import uuid
import time
 
def acquire_lock(conn, lock_name, acquire_timeout=10, lock_timeout=10):
    identifier = str(uuid.uuid4())  # 生成一个唯一的ID
    end = time.time() + acquire_timeout
 
    while time.time() < end:
        if conn.set(lock_name, identifier, px=lock_timeout * 1000):
            return identifier
        time.sleep(0.001)
 
    return False
 
def release_lock(conn, lock_name, identifier):
    pipe = conn.pipeline(True)
    while True:
        try:
            pipe.watch(lock_name)
            if pipe.get(lock_name) == identifier:
                pipe.multi()
                pipe.delete(lock_name)
                pipe.execute()
                return True
            pipe.unwatch()
            break
        except redis.exceptions.WatchError:
            pass
    return False
 
# 使用示例
redis_conn = redis.Redis()
lock_name = "my_lock"
lock_identifier = acquire_lock(redis_conn, lock_name)
if lock_identifier:
    try:
        # 在这里执行需要互斥访问的代码
        print("Lock acquired")
    finally:
        if release_lock(redis_conn, lock_name, lock_identifier):
            print("Lock released")
        else:
            print("Failed to release lock")
else:
    print("Failed to acquire lock")

在这个示例中,acquire_lock函数尝试获取锁,如果在指定时间内成功,它会返回一个唯一的标识符。release_lock函数尝试释放锁,它会检查锁是否仍然是由指定的标识符所拥有,然后释放它。这里使用了Redis的事务来确保锁的释放是安全的。

2024-08-27

使用Redis的SETNX命令实现分布式锁是一个常见的方案。SETNX是"SET if Not eXists"的缩写,也就是只有当键不存在时才设置值。这个特性使得它可以被用作锁的机制。

以下是一个使用Python和redis-py库实现的示例:




import redis
import time
import uuid
 
def acquire_lock(conn, lock_name):
    identifier = str(uuid.uuid4())  # 生成一个唯一的ID
    end = time.time() + 10  # 设置超时时间
 
    while time.time() < end:
        if conn.setnx(lock_name, identifier):  # 尝试获取锁
            return identifier
        time.sleep(0.001)
 
    return False
 
def release_lock(conn, lock_name, identifier):
    pipe = conn.pipeline(True)
    while True:
        try:
            pipe.watch(lock_name)
            if pipe.get(lock_name) == identifier:
                pipe.multi()
                pipe.delete(lock_name)
                pipe.execute()
                return True
            pipe.unwatch()
            break
        except redis.exceptions.WatchError:
            pass
    return False
 
# 使用示例
redis_conn = redis.StrictRedis(host='localhost', port=6379, db=0)
lock_name = "my_lock"
identifier = acquire_lock(redis_conn, lock_name)
if identifier:
    try:
        # 在这里执行需要互斥访问的代码
        print("Lock acquired")
    finally:
        # 确保释放锁
        if release_lock(redis_conn, lock_name, identifier):
            print("Lock released")
else:
    print("Could not acquire lock")

在这个示例中,acquire_lock 函数尝试获取锁,如果在10秒内未能获得锁,则返回Falserelease_lock 函数尝试释放锁,如果锁的标识符匹配,则删除键释放锁。这里使用了UUID生成唯一的锁标识符,避免了由于锁释放出现问题。

2024-08-27



import org.redisson.Redisson;
import org.redisson.api.RLock;
import org.redisson.api.RedissonClient;
import org.redisson.config.Config;
 
import java.util.concurrent.TimeUnit;
 
public class RedissonLockExample {
 
    public static void main(String[] args) {
        // 配置Redisson客户端
        Config config = new Config();
        config.useSingleServer().setAddress("redis://127.0.0.1:6379");
        RedissonClient redisson = Redisson.create(config);
 
        // 获取锁对象实例
        RLock lock = redisson.getLock("myLock");
 
        try {
            // 尝试获取锁,最多等待100秒,锁定之后最多持有锁10秒
            boolean isLocked = lock.tryLock(100, 10, TimeUnit.SECONDS);
            if (isLocked) {
                // 业务逻辑
                System.out.println("Lock acquired");
                // 处理完业务逻辑后释放锁
            } else {
                System.out.println("Lock not acquired");
            }
        } catch (InterruptedException e) {
            e.printStackTrace();
        } finally {
            // 释放锁
            if (lock.isHeldByCurrentThread()) {
                lock.unlock();
                System.out.println("Lock released");
            }
        }
 
        // 关闭Redisson客户端
        redisson.shutdown();
    }
}

这段代码展示了如何使用Redisson框架来获取和释放分布式锁。它首先配置了Redisson客户端,然后尝试获取名为"myLock"的锁对象。如果在指定的等待时间内成功获取锁,它将执行被锁保护的代码,并在完成后释放锁。最后,它关闭了Redisson客户端以释放资源。这个例子简单明了地展示了如何在Java中使用Redisson进行分布式锁操作。

2024-08-27



import redis
from scrapy.utils.project import get_project_settings
from scrapy.crawler import CrawlerProcess
 
settings = get_project_settings()
server = redis.StrictRedis(host='localhost', port=6379, db=0)
 
class RedisSpiderScheduler(object):
    def __init__(self, server, dupefilter_key):
        self.server = server
        self.dupefilter_key = dupefilter_key
        self.df = server
 
    @classmethod
    def from_crawler(cls, crawler):
        return cls(server=redis.StrictRedis(host=crawler.settings.get('REDIS_HOST', 'localhost'),
                                            port=crawler.settings.get('REDIS_PORT', 6379),
                                            db=crawler.settings.get('REDIS_DB', 0)),
                   dupefilter_key=crawler.settings.get('DUPEFILTER_KEY', 'dupefilter'))
 
    def open(self, spider):
        self.server.sadd(self.dupefilter_key, 'seed_url')
 
    def close(self, spider):
        self.server.delete(self.dupefilter_key)
 
    def enqueue_request(self, request):
        if not request.dont_filter and self.df.sismember(self.dupefilter_key, request.url):
            raise ValueError("Request duplicated")
        self.df.sadd(self.dupefilter_key, request.url)
 
    def next_request(self):
        seed_url = self.server.spop(self.dupefilter_key)
        if seed_url:
            return scrapy.Request(seed_url, dont_filter=True)
 
class RedisCrawlSpider(CrawlSpider):
    # ...
 
    def __init__(self, *args, **kwargs):
        super(RedisCrawlSpider, self).__init__(*args, **kwargs)
        self.scheduler = RedisSpiderScheduler.from_crawler(self)
 
    def parse(self, response):
        # ...
 
if __name__ == "__main__":
    process = CrawlerProcess(settings)
    process.crawl(RedisCrawlSpider)
    process.start()

这个代码实例展示了如何使用Redis来实现Scrapy爬虫的调度。首先,我们定义了一个调度器类RedisSpiderScheduler,它使用Redis来存储URL集合。然后,我们定义了一个继承自CrawlSpiderRedisCrawlSpider类,它使用我们定义的RedisSpiderScheduler作为调度器。最后,我们实例化了一个CrawlerProcess并启动了爬虫。这个例子展示了如何将Scrapy与Redis结合,实现分布式爬取。