29. redis 热点 key 的问题如何解决？

PangHu大约 4 分钟

热点 key 问题是指在 Redis 中某些 key 被频繁访问，导致这些 key 所在的节点或实例压力过大，从而可能引发性能瓶颈、服务不可用等问题。在分布式系统中，特别是在高并发场景下，热点 key 问题需要特别关注。以下是解决 Redis 热点 key 问题的一些常见方法：

1. 热点 key 问题的成因

高并发访问：某些 key 被大量的客户端频繁读取或写入，导致这些 key 集中在一个 Redis 节点或实例上，造成该节点的资源过度消耗。
数据倾斜：数据分布不均匀，部分 key 的访问频率远高于其他 key，导致部分节点负载过重。
单点故障：如果热点 key 集中在某个节点上，当该节点发生故障时，可能导致业务服务的不可用。

2. 解决 Redis 热点 key 问题的策略

2.1 缓存热点数据

将热点数据缓存到本地（如 JVM 本地缓存）或使用多级缓存来减轻 Redis 的负载。对于特别热的 key，可以通过以下方式处理：

本地缓存（如 Guava Cache 或 Caffeine）：在应用服务器上使用本地缓存来缓存热点数据，从而减少对 Redis 的访问频率。

LoadingCache<String, Object> localCache = Caffeine.newBuilder()
    .maximumSize(10000)
    .expireAfterWrite(10, TimeUnit.MINUTES)
    .build(key -> redisTemplate.opsForValue().get(key));

多级缓存：在 Redis 前增加一层本地缓存或内存缓存，Redis 作为后备存储。这可以通过开源的缓存框架或自定义实现来实现。

2.2 使用 Redis 集群均衡请求

在 Redis 集群模式下，可以通过合理的哈希算法和数据分片，将数据分布到多个节点上，从而避免单个节点成为热点。

一致性哈希：使用一致性哈希算法分布 key，可以减少因为节点变动导致的热点问题。
合理分片：使用 Redis 的集群模式，通过配置合理的分片规则（如手动设置 slot）来均衡数据分布，避免单个节点成为瓶颈。

2.3 热点 key 的拆分

将热点 key 的值进行拆分，分布到多个 key 上，从而分散并发压力。例如：

基于随机数的拆分：为每个请求生成一个随机数，将 key 分成多个子 key 进行存储。例如，将 key hot_key 拆分为 hot_key_1, hot_key_2, hot_key_3 等，然后随机选择一个 key 进行读写操作。
```
String baseKey = "hot_key";
int suffix = new Random().nextInt(3) + 1;  // 随机选择 1 到 3 之间的数字
String realKey = baseKey + "_" + suffix;
redisTemplate.opsForValue().get(realKey);
```
基于时间的拆分：将 key 按照时间窗口进行拆分，例如按分钟、小时、天来拆分，从而减小单个 key 的负载。

2.4 请求合并（Request Coalescing）

将多个对同一热点 key 的请求合并为一个请求，在应用层进行控制，避免同一时间多个请求同时访问 Redis。

批量请求：当多个客户端同时请求相同的 key 时，可以将请求进行合并，在应用层只发起一次对 Redis 的访问，然后将结果返回给所有请求方。
```
public Object getHotKey(String key) {
    return cache.computeIfAbsent(key, k -> redisTemplate.opsForValue().get(k));
}
```
异步请求合并：通过消息队列或异步操作，将多个相近时间的请求合并处理，减少 Redis 的并发压力。

2.5 数据预热与预加载

对于一些确定会成为热点的数据，可以在系统启动或负载增加前，提前将这些数据加载到 Redis 缓存中，甚至是本地缓存中，避免高并发时出现冷启动问题。

预加载策略：在系统启动时，预先加载热点数据到缓存中，并配置适当的过期时间。

redisTemplate.opsForValue().set("hot_key_1", preloadData1);
redisTemplate.opsForValue().set("hot_key_2", preloadData2);

异步预热：在某些情况下，可以通过异步任务定期将可能成为热点的数据刷新到缓存中。

2.6 限流与降级

在极端情况下，可以对热点 key 的访问进行限流或降级，以保护 Redis 系统的稳定性：

限流：对访问频率过高的请求进行限流，可以使用限流算法如令牌桶或漏桶来实现。

降级：当访问 Redis 的负载过高时，可以选择从本地缓存或返回预设的降级数据。

public Object getDataWithFallback(String key) {
    try {
        return redisTemplate.opsForValue().get(key);
    } catch (Exception e) {
        return fallbackData;  // 返回降级数据
    }
}

3. 总结

热点 key 问题是 Redis 在高并发场景中常见的性能瓶颈之一。解决这个问题需要结合具体的业务场景，采取多种策略，例如使用多级缓存、合理分片、请求合并、数据预热、限流与降级等方法，来分散热点 key 的压力。通过这些优化手段，可以有效提高系统的性能和稳定性。在 Java 应用中，开发者可以结合 Redis 的分布式特性和缓存策略，合理设计和实现数据访问方案，以应对可能的热点 key 问题。