Redis的淘汰机制分析[通俗易懂]

Redis的淘汰机制分析[通俗易懂]1.1、淘汰机制分析简介我们知道,redis的性能很高,有很大的原因是因为数据是存储在内存中的。但是,如果我们长期使用redis, key不断的

大家好,欢迎来到IT知识分享网。

1.1、淘汰机制分析简介

我们知道,redis的性能很高,有很大的原因是因为数据是存储在内存中的。

但是,如果我们长期使用redis, key不断的增加的情况,我们的物理内存终究会满的,并且要满的时候也会与会是内存与磁盘做swap交换,频繁的IO操作将会使得性能极具下降。

所以我们需要存在缓存淘汰机制,去保证机器不至于因为太多key导致内存撑爆。

1.2、redis的最大内存设置

内存设置在redis.conf中的maxmemory

1.2.1、不设置最大内存

Redis的key是固定的,不会增加

如果redis作为db使用,为了保证数据的完整性,不能够淘汰。此时可以做集群,横向扩展,增大存储key的数据。

此时的缓存淘汰策略:禁止驱逐(默认)

1.2.2、设置最大内存

设置为0

Redis作为缓存使用,key的数量是不断增加的。

maxmemory设置为0 表示不限制,也是默认值。

存在问题:超过物理内存性能急剧下降,频繁IO性能更加下降。

设置指定大小

具体设置多少一般与业务有关,比如你就存储几个或几十个key, 你是怎样的方式都无所谓啦。

一般一个redis实例,去除1G内存保证系统稳定运行,剩下的就可以设置redis。一般情况设置为物理内存的3/4。

# 设置最大内存 在redis.conf中
maxmemory 1024mb

IT知识分享网

命令获取和设置maxmemory

IT知识分享网# 获取最大内存 默认是0 表示不限制
127.0.0.1:6379> config get maxmemory
1) "maxmemory"
2) "0"
# 设置为1024mb
127.0.0.1:6379> config set maxmemory 1024mb
OK
# 重新获取
127.0.0.1:6379> config get maxmemory
1) "maxmemory"
2) "1073741824"

如果设置了maxmemory之后,如果趋近maxmemory时,通过缓存淘汰机制,从内存中删除对象。

1.3、expire数据结构

如果看过上一篇文章《redis底层数据结构分析》就会知道,在redisDb对象中存在一个expires的字典,用于保存缓存过期的key或者客户端对象。再次看一看这个对象。

typedef struct redisDb {
    dict *dict;                 /* 存储所有的key-value */
    dict *expires;              /* 存储key的过期时间 */
    dict *blocking_keys;        /* blpop存储阻塞key和客户端对象*/
    dict *ready_keys;           /* 阻塞后push,响应阻塞的那些客户端和key */
    dict *watched_keys;         /* 存储watch监控的key和客户端对象 WATCHED keys for MULTI/EXEC CAS */
    int id;                     /* 数据库的ID为0-15,默认redis有16个数据库 */
    long long avg_ttl;          /* 存储对象的额平均ttl(time in live)时间用于统计 */
    unsigned long expires_cursor; /* Cursor of the active expire cycle. */
    list *defrag_later;         /* List of key names to attempt to defrag one by one, gradually. */
    clusterSlotToKeyMapping *slots_to_keys; /* Array of slots to keys. Only used in cluster mode (db 0). */
} redisDb;

既然存储了过期key的过期时间这些数据,那么我们过期的key怎么处理呢?

1.4、redis的数据删除策略

redis的删除策略有定时,惰性,主动删除三种方式。默认采用的是惰性+主动的组合删除方式。

1.4.1、定时删除

在设置键和过期时间时,同时创建一个定时器,不断的扫描哪些key过期了,立即执行山粗操作。

需要创建定时器,定时器的扫描频率越快,消耗的CPU就越严重,一般不会这样使用。

1.4.2、惰性删除

平时不删除key, 只有当访问key时,发现key已经过期了,那么就删除它吧。

就是调用的expireIfNeeded方法:读取数据之前检查一下它有没有失效,如果失效了就删除它。

IT知识分享网int expireIfNeeded(redisDb *db, robj *key, int force_delete_expired) {
    // 如果没有失效,返回0
    if (!keyIsExpired(db,key)) return 0;
    if (server.masterhost != NULL) {
        if (server.current_client == server.master) return 0;
        if (!force_delete_expired) return 1;
    }

    if (checkClientPauseTimeoutAndReturnIfPaused()) return 1;

    // 失效了 删除这个key
    deleteExpiredKeyAndPropagate(db,key);
    return 1;
}

如何判断失效

int keyIsExpired(redisDb *db, robj *key) {
    // 获取key的失效时间
    mstime_t when = getExpire(db,key);
    // 当前时间
    mstime_t now;

    // 失效时间小于0 表示默认值-1 不过期 返回没有过期
    if (when < 0) return 0; /* No expire for this key */

    // 如果服务正在加载 返回未过期
    if (server.loading) return 0;
    
    // 获取当前时间
    if (server.script_caller) {
        now = scriptTimeSnapshot();
    }
    else if (server.fixed_time_expire > 0) {
        now = server.mstime;
    }
    else {
        now = mstime();
    }

    // 当前时间大于过期时间,表示没有过期 否则就时过期了
    return now > when;
}

1.4.3、主动删除

在redis.conf文件中可以配置主动删除策略, 默认是no-enviction(不删除)

使用命令查看策略

127.0.0.1:6379> config get maxmemory-policy
1) "maxmemory-policy"
2) "noeviction"

普通删除算法LRU

LRU (Least recently used) 最近最少使用,算法根据数据的历史访问记录来进行淘汰数据,其核心思想是“如果数据最近被访问过,那么将来被访问的几率也更高”。

最常见的实现是使用一个链表保存缓存数据,详细算法实现如下:

1. 新数据插入到链表头部;
2. 每当缓存命中(即缓存数据被访问),则将数据移到链表头部;
3. 当链表满的时候,将链表尾部的数据丢弃。
4. 在Java中可以使用LinkHashMap(哈希链表)去实现LRU

举个例子帮助理解LRU算法

比如我们使用hash链表来存储用户信息,目前缓存了3个用户,这三个用户按照创建时间依次加入链表

Redis的淘汰机制分析[通俗易懂]

此时,业务方访问用户004,哈希链表中不存在,从数据库取出,插入到缓存,此时用004处于链表最右端,最左端是最近最少访问的用户001。

Redis的淘汰机制分析[通俗易懂]

接下来,业务方访问用户003,哈希链表中存在用户003的数据,此时把用户003从它的前驱

节点和后继节点之间移除,重新插入到链表最右端。

这时候,链表中最右端变成了最新访问到的用户003,最左端仍然是最近最少访问的用户1。

也就是说,我们访问谁,谁就会在右边来,越是不访问谁,谁就在左边。

如果我们数据满了,不能再存储了,此时又来了数据,那么是不是应该删除最近最少使用的用户001呢?

答案是yes

Redis的淘汰机制分析[通俗易懂]

Redis中的删除策略

LRU

从 struct redisObject 中可以发现,每一个 redis 对象都会设置相应的 lru。可以想象的是,每一

次访问数据的时候,会更新 redisObject.lru。

LRU 数据淘汰机制如下:

  • 在数据集中随机挑选几个键值对,取出其中 lru 最大的键值对淘汰。
  • 不可能遍历所有的key 用当前时间-最近访问越大说明访问间隔时间越长
# 从已设置过期时间的数据集(server.db[i].expires)中挑选最近最少使用的数据淘汰
volatile-lru
# 从数据集(server.db[i].dict)中挑选最近最少使用的数据淘汰
allkeys-lru

LFU

LFU (Least frequently used) 最不经常使用,如果一个数据在最近一段时间内使用次数很少,那么在将来一段时间内被使用的可能性也很小。

volatile-lfu
allkeys-lfu

random随机

# 从已设置过期时间的数据集(server.db[i].expires)中任意选择数据淘汰
volatile-random
# 从数据集(server.db[i].dict)中任意选择数据淘汰
allkeys-random

ttl

TTL 数据淘汰机制:从过期时间的表中随机挑选几个键值对,取出其中 ttl 最小的键值对淘汰。

# 从已设置过期时间的数据集(server.db[i].expires)中挑选将要过期的数据淘汰
volatile-ttl

noenviction

禁止驱逐数据,不删除默认

1.5、如何选择缓存淘汰机制?

1.5.1、不确定业务

allkeys-lru 所有的key都使用LRU最近最少使用算法淘汰

volatile-lru 比allkeys-lru性能差,会存储过期时间

1.5.2、符合平均的分布

allkeys-random 随机淘汰策略,每个元素淘汰的概率都是一样的

1.5.3、自己控制

volatile-ttl 自己在程序中设置过期时间来处理。存在缓存穿透,缓存击穿等问题需要自己处理。

1.6、小结

Redis的淘汰策略已经需要我们根据不同的业务场景去设置,以达到更加合适的效果。

2、相关文章

本人还写了Redis的其他相关文章,有兴趣的可以点击查看!

  • <

    >
  • <

    >
  • <

    >
  • <

    >
  • <

    >
  • <

    >
  • <

    >
  • <
    <缓存是什么?缓存有哪些分类?使用它的代价是什么?>
    >
  • <
    <缓存的6种常见的使用场景>
    >

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/6129.html

(0)
上一篇 2022-12-18 10:50
下一篇 2022-12-18 11:10

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注微信