image-fkfj.png

开篇

面试官: 我看你做的项目中,都用到了redis,你在最近的项目中哪些场景使用了redis呢?

目的:

  • 验证你的项目场景的真实性
  • 作为深入发问的切入点

回答:

  • 缓存:穿透、击穿、雪崩、双写一致、持久化、数据过期策略、数据淘汰策略
  • 分布式锁:setnx、redisson
  • 消息队列、延迟队列:数据类型

缓存

缓存穿透

概念

查询一个不存在的数据,mysql查询不到数据也不会直接写入缓存,就会导致每次请求都会查询数据库

解决方案

解决方案一
  • 方案:缓存空数据,查询返回的数据为空,仍把这个空结果进行缓存
  • 优点:简单
  • 缺点:消耗内存,可能会发生不一致的问题
解决方案二
  • 方案:布隆过滤器
  • 优点:内存占用较少,没有多余key
  • 缺点:实现复杂,存在误判

布隆过滤器

概念

利用位图检索一个元素是否在一个集合中

实现

image-oqev.png

存储数据:对一个id为1的数据,通过多个hash函数获取hash值,根据hash计算将数组对应位置改为1

查询数据:使用相同hash函数获取hash值,判断对应位置是否都为1

误判率:数组越小误判率就越大,数组越大误判率就越小,但同时内存消耗更多。

实现方案
  • Redisson
  • Guava

面试题

面试官: 什么是缓存穿透?怎么解决?

回答:

  1. 缓存穿透是指查询一个一定不存在的数据,由于存储层查不到数据因此不写入缓存。
  2. 这将导致这个不存在的数据每次请求都要到 DB 去查询,可能导致 DB 挂掉。
  3. 这种情况大概率是遭到了攻击。解决方案的话,我们通常都会用布隆过滤器来解决它。

面试官: 你能介绍一下布隆过滤器吗?

回答:

  1. 布隆过滤器主要是用于检索一个元素是否在一个集合中。
  2. 我们当时使用的是Redisson实现的布隆过滤器。
    1. 它的底层原理是,先初始化一个比较大的数组,里面存放的是二进制0或1。
    2. 一开始都是0,当一个key来了之后,经过3次hash计算,模数组长度找到数据的下标,然后把数组中原来的0改为1。
    3. 这样,三个数组的位置就能标明一个key的存在。
    4. 查找的过程也是一样的。
    5. 当然,布隆过滤器有可能会产生一定的误判,我们一般可以设置这个误判率,大概不会超过5%。
    6. 其实这个误判是必然存在的,要不就得增加数组的长度。
    7. 5%以内的误判率一般的项目也能接受,不至于高并发下压倒数据库。

缓存击穿

概念

给某一个key设置了过期时间,当key过期的时候,恰好这时间点对这个key有大量的并发请求过来,这些并发的请求可能会瞬间把DB压垮

解决方案

解决方案一

image-jkke.png

解决方案二

image-rfyp.png

面试题

面试官: 什么是缓存击穿?怎么解决?

回答:

  1. 缓存击穿的意思是,对于设置了过期时间的key,缓存在某个时间点过期的时候,恰好这个时间点对这个Key有大量的并发请求过来。
  2. 这些请求发现缓存过期,一般都会从后端 DB 加载数据并回设到缓存,这个时候大并发的请求可能会瞬间把 DB 压垮。
  3. 解决方案有两种方式:
    1. 第一,可以使用互斥锁:当缓存失效时,不立即去load db,先使用如 Redis 的 SETNX 去设置一个互斥锁。当操作成功返回时,再进行 load db的操作并回设缓存,否则重试get缓存的方法。
    2. 第二种方案是设置当前key逻辑过期,大概思路如下:
      1. 在设置key的时候,设置一个过期时间字段一块存入缓存中,不给当前key设置过期时间;
      2. 当查询的时候,从redis取出数据后判断时间是否过期;
      3. 如果过期,则开通另外一个线程进行数据同步,当前线程正常返回数据,这个数据可能不是最新的。
    3. 当然,两种方案各有利弊:如果选择数据的强一致性,建议使用分布式锁的方案,但性能上可能没那么高,且有可能产生死锁的问题。如果选择key的逻辑删除,则优先考虑高可用性,性能比较高,但数据同步这块做不到强一致。

缓存雪崩

概念

缓存雪崩是指在同一时段大量的缓存key同时失效或者Redis服务宕机,导致大量请求到达数据库,带来巨大压力。

解决方案

  1. 给不同的Key的TTL添加随机值
  2. 利用Redis集群提高服务的可用性:哨兵模式、集群模式
  3. 给缓存业务添加降级限流策略:nginx或spring cloud gateway
  4. 给业务添加多级缓存:Guava或Caffeine

面试题

面试官: 什么是缓存雪崩?怎么解决?

回答:

  1. 缓存雪崩意思是,设置缓存时采用了相同的过期时间,导致缓存在某一时刻同时失效,请求全部转发到DB,DB瞬时压力过重而雪崩。
  2. 与缓存击穿的区别是:雪崩是很多key,而击穿是某一个key缓存。
  3. 解决方案主要是,可以将缓存失效时间分散开。
  4. 比如,可以在原有的失效时间基础上增加一个随机值,比如1-5分钟随机。这样,每一个缓存的过期时间的重复率就会降低,就很难引发集体失效的事件。

双写一致

概念

当修改了数据库的数据也要同时更新缓存的数据,缓存和数据库的数据要保持一致

读操作:缓存命中,直接返回;缓存未命中查询数据库,写入缓存,设定超时时间

写操作:延迟双删

image-azts.png

解决方案

解决方案一

image-uhjh.png

共享锁:读锁readLock,加锁之后,其他线程可以共享读操作
排他锁:独占锁writeLock,加锁之后,阻塞其他线程读写操作

特点:一致性强、性能低

解决方案二
MQ异步通知

image-ajcx.png

Canal异步通知

image-ntmc.png

二进制日志(BINLOG)记录了所有的 DDL(数据定义语言)语句和 DML(数据操纵语言)语句,但不包括数据查询(SELECT、SHOW)语句。

面试题

面试官: redis做为缓存,mysql的数据如何与redis进行同步呢?(双写一致性)

回答:

  1. 嗯!就说我最近做的这个项目,里面有xxxx(根据自己的简历上写)的功能,需要让数据库与redis高度保持一致,因为要求时效性比较高。
  2. 我们当时采用的读写锁保证的强一致性。
  3. 我们使用的是Redisson实现的读写锁。在读的时候添加共享锁,可以保证读读不互斥、读写互斥。
  4. 当我们更新数据的时候,添加排他锁。
  5. 它是读写、读读都互斥,这样就能保证在写数据的同时,是不会让其他线程读数据的,避免了脏数据。
  6. 这里面需要注意的是,读方法和写方法上需要使用同一把锁才行。

面试官: 那这个排他锁是如何保证读写、读读互斥的呢?

回答:

其实排他锁底层使用的也是 SETNX,它保证了同时只能有一个线程操作锁住的方法。

面试官: 你听说过延时双删吗?为什么不用它呢?

回答:

  1. 延迟双删,写操作过程中,我们先把缓存中的数据删除,然后更新数据库,最后再延时删除缓存中的数据。
  2. 其中,这个延时多久不太好确定。
  3. 在延时的过程中,可能会出现脏数据,并不能保证强一致性,所以没有采用它。

面试官: redis做为缓存,mysql的数据如何与redis进行同步呢?(双写一致性)

回答:

  1. 嗯!就说我最近做的这个项目,里面有xxxx(根据自己的简历上写)的功能。
  2. 数据同步可以有一定的延时(这符合大部分业务需求)。
  3. 我们当时采用的阿里的Canal组件实现数据同步:不需要更改业务代码,只需部署一个Canal服务。
  4. Canal服务把自己伪装成mysql的一个从节点。
  5. 当mysql数据更新以后,Canal会读取binlog数据,然后再通过Canal的客户端获取到数据,并更新缓存即可。

数据持久化

在Redis中提供了两种数据持久化的方式:

  1. RDB
  2. AOF

RDB

概念

RDB全称Redis Database Backup file(Redis数据备份文件),也被叫做Redis数据快照。

简单来说就是把内存中的所有数据都记录到磁盘中。

当Redis实例故障重启后,从磁盘读取快照文件,恢复数据。

命令
[root@localhost ~]# redis-cli
127.0.0.1:6379> save #由Redis主进程来执行RDB,会阻塞所有命令
ok
127.0.0.1:6379> bgsave #开启子进程执行RDB,避免主进程受到影响
Background saving started
RDB触发机制

redis.conf文件中,格式如下:

# 900秒内,如果至少有1个key被修改,则执行bgsave
save 900 1
save 300 10
save 60 10000
执行原理

bgsave开始时会fork主进程得到子进程,子进程共享主进程的内存数据。

完成fork后读取内存数据并写入 RDB 文件。

fork采用的是copy-on-write技术:

  • 当主进程执行读操作时,访问共享内存
  • 当主进程执行写操作时,则会拷贝一份数据,执行写操作

image-lohx.png

AOF

概念

AOF全称为Append Only File(追加文件)。

Redis处理的每一个写命令都会记录在AOF文件,可以看做是命令日志文件。

配置文件

redis.conf文件中,格式如下:

# 是否开启AOF功能,默认是no
appendonly yes
# AOF文件的名称
appendfilename "appendonly.aof"

# 表示每执行一次写命令,立即记录到AOF文件
appendfsync always 
# 写命令执行完先放入AOF缓冲区,然后表示每隔1秒将缓冲区数据写到AOF文件,是默认方案
appendfsync everysec 
# 写命令执行完先放入AOF缓冲区,由操作系统决定何时将缓冲区内容写回磁盘
appendfsync no
配置项 刷盘时机 优点 缺点
Always 同步刷盘 可靠性高,几乎不丢数据 性能影响大
everysec 每秒刷盘 性能适中 最多丢失1秒数据
no 操作系统控制 性能最好 可靠性较差,可能丢失大量数据
特点

因为是记录命令,AOF文件会比RDB文件大的多。

而且AOF会记录对同一个key的多次写操作,但只有最后一次写操作才有意义。

通过执行bgrewriteaof命令,可以让AOF文件执行重写功能,用最少的命令达到相同效果。

Redis也会在触发阈值时自动去重写AOF文件。

阈值也可以在redis.conf中配置:

# AOF文件比上次文件增长超过多少百分比则触发重写
auto-aof-rewrite-percentage 100
# AOF文件体积最小多大以上才触发重写
auto-aof-rewrite-min-size 64mb

RDB与AOF对比

RDB AOF
持久化方式 定时对整个内存做快照 记录每一次执行的命令
数据完整性 不完整,两次备份之间会丢失 相对完整,取决于刷盘策略
文件大小 会有压缩,文件体积小 记录命令,文件体积很大
宕机恢复速度 很快
数据恢复优先级 低,因为数据完整性不如AOF 高,因为数据完整性更高
系统资源占用 高,大量CPU和内存消耗 低,主要是磁盘IO资源,但AOF重写时会占用大量CPU和内存资源
使用场景 可以容忍数分钟的数据丢失,追求更快的启动速度 对数据安全性要求较高场景

面试题

面试官: redis做为缓存,数据的持久化是怎么做的?

回答:

在Redis中提供了两种数据持久化的方式:

  1. RDB
  2. AOF

面试官: 这两种持久化方式有什么区别呢?

回答:

  1. RDB是一个快照文件。
  2. 它是把redis内存存储的数据写到磁盘上。
  3. 当redis实例宕机恢复数据的时候,可以从RDB的快照文件中恢复数据。
  4. AOF的含义是追加文件。
  5. 当redis执行写命令的时候,都会存储到这个文件中。
  6. 当redis实例宕机恢复数据的时候,会从这个文件中再次执行一遍命令来恢复数据。

面试官: 这两种方式,哪种恢复的比较快呢?

回答:

  1. RDB因为是二进制文件,保存时体积也比较小,所以它恢复得比较快。
  2. 但它有可能会丢数据。
  3. 我们通常在项目中也会使用AOF来恢复数据。
  4. 虽然AOF恢复的速度慢一些,但它丢数据的风险要小很多。
  5. 在AOF文件中可以设置刷盘策略。
  6. 我们当时设置的就是每秒批量写入一次命令。

数据过期策略

概念

Redis对数据设置数据的有效时间,数据过期以后,就需要将数据从内存中删除掉。

可以按照不同的规则进行删除,这种删除规则就被称之为数据的删除策略(数据过期策略)。

惰性删除

概念

设置该key过期时间后,我们不去管它,当需要该key时,我们在检查其是否过期,如果过期,我们就删掉它,反之返回该key。

特点

优点:对CPU友好,只会在使用该key时才会进行过期检查,对于很多用不到的key不用浪费时间进行过期检查

缺点:对内存不友好,如果一个key已经过期,但是一直没有使用,那么该key就会一直存在内存中,内存永远不会释放

定期删除

概念

每隔一段时间,我们就对一些key进行检查,删除里面过期的key(从一定数量的数据库中取出一定数量的随机key进行检查,并删除其中的过期key)。

定期清理的模式
  • SLOW模式是定时任务,执行频率默认为10hz,每次不超过25ms,可以通过修改配置文件redis.conf的hz 选项来调整这个次数
  • FAST模式执行频率不固定,但两次间隔不低于2ms,每次耗时不超过1ms
特点

优点:可以通过限制删除操作执行的时长和频率来减少删除操作对 CPU 的影响。另外定期删除,也能有效释放过期键占用的内存。

缺点:难以确定删除操作执行的时长和频率。

面试题

面试官: Redis的数据过期策略有哪些?

回答:

  1. 在redis中提供了两种数据过期删除策略。
  2. 第一种是惰性删除。在设置该key过期时间后,我们不去管它。当需要该key时,我们检查其是否过期。如果过期,我们就删掉它;反之,返回该key。
  3. 第二种是定期删除。就是说,每隔一段时间,我们就对一些key进行检查,并删除里面过期的key。定期清理的两种模式是:
    1. SLOW模式,是定时任务,执行频率默认为10hz,每次不超过25ms,可以通过修改配置文件redis.conf的hz选项来调整这个次数;
    2. FAST模式,执行频率不固定,每次事件循环会尝试执行,但两次间隔不低于2ms,每次耗时不超过1ms。
  4. Redis的过期删除策略是:惰性删除 + 定期删除两种策略配合使用。

数据淘汰策略

概念

当Redis中的内存不够用时,此时在向Redis中添加新的key,那么Redis就会按照某一种规则将内存中的数据删除掉,这种数据的删除规则被称之为内存的淘汰策略。

淘汰策略

  1. noeviction: 不淘汰任何key,但是内存满时不允许写入新数据,默认就是这种策略。
  2. volatile-ttl: 对设置了TTL的key,比较key的剩余TTL值,TTL越小越先被淘汰
  3. allkeys-random:对全体key ,随机进行淘汰。
  4. volatile-random:对设置了TTL的key ,随机进行淘汰。
  5. allkeys-lru: 对全体key,基于LRU算法进行淘汰
  6. volatile-lru: 对设置了TTL的key,基于LRU算法进行淘汰
  7. allkeys-lfu: 对全体key,基于LFU算法进行淘汰
  8. volatile-lfu: 对设置了TTL的key,基于LFU算法进行淘汰

LRU(Least Recently Used)最近最少使用。用当前时间减去最后一次访问时间,这个值越大则淘汰优先级越高。

LFU(Least Frequently Used)最少频率使用。会统计每个key的访问频率,值越小淘汰优先级越高。

使用建议

  1. 优先使用 allkeys-lru 策略。充分利用 LRU 算法的优势,把最近最常访问的数据留在缓存中。如果业务有明显的冷热数据区分,建议使用。
  2. 如果业务中数据访问频率差别不大,没有明显冷热数据区分,建议使用 allkeys-random,随机选择淘汰。
  3. 如果业务中有置顶的需求,可以使用 volatile-lru 策略,同时置顶数据不设置过期时间,这些数据就一直不被删除,会淘汰其他设置过期时间的数据。
  4. 如果业务中有短时高频访问的数据,可以使用 allkeys-lfu 或 volatile-lfu 策略。

面试题

面试官: Redis的数据淘汰策略有哪些?

回答:

  1. 嗯,这个在redis中提供了很多种,默认是noeviction,不删除任何数据,内部不足时直接报错。
  2. 这个可以在redis的配置文件中进行设置。
  3. 里面有两个非常重要的概念:一个是LRU,另外一个是LFU。
  4. LRU的意思就是最少最近使用。它会用当前时间减去最后一次访问时间。这个值越大,则淘汰优先级越高。
  5. LFU的意思是最少频率使用。它会统计每个key的访问频率。值越小,淘汰优先级越高。
  6. 我们在项目中设置的是allkeys-lru,它会挑选最近最少使用的数据进行淘汰,把一些经常访问的key留在redis中。

面试官: 数据库有1000万数据,Redis只能缓存20w数据。如何保证Redis中的数据都是热点数据?

回答:

嗯,我想一下()。可以使用allkeys-lru(挑选最近最少使用的数据淘汰)淘汰策略。

那留下来的都是经常访问的热点数据。

面试官: Redis的内存用完了会发生什么?

回答:

嗯~,这个要看redis的数据淘汰策略是什么。如果是默认的配置,redis内存用完以后则直接报错。我们当时设置的是allkeys-lru策略,把最近最常访问的数据留在缓存中。

分布式锁

概念

Redis分布式锁是一种在分布式系统中用于控制共享资源访问的机制。它通过使用Redis这一高性能的内存数据存储系统,来实现跨多个节点或服务的锁功能。

实现

Redis实现分布式锁主要利用Redis的setnx命令。setnx是SET if not exists(如果不存在,则 SET)的简写。

获取锁

# 添加锁,NX是互斥、EX是设置超时时间
SET lock value NX EX 10

释放锁

# 释放锁,删除即可
DEL key

给锁续期

  • 根据业务执行时间预估
  • 给锁续期

image-elpm.png

image-qcbf.png

重入锁

redisson实现的分布式锁利用hash结构记录线程id和重入次数

主从一致性

RedLock(红锁):不能只在一个redis实例上创建锁,应该是在多个redis实例上创建锁(n / 2 + 1),避免在一个redis实例上加锁。

特点

  • 实现复杂
  • 性能差
  • 运维繁琐

面试题

面试官: Redis分布式锁如何实现?

回答:

  1. 嗯,在redis中提供了一个命令 SETNX(SET if not exists)。
  2. 由于redis是单线程的,用了这个命令之后,只能有一个客户端对某一个key设置值。
  3. 在没有过期或删除key的时候,其他客户端是不能设置这个key的。

面试官: 那你如何控制Redis实现分布式锁的有效时长呢?

回答:

  1. 嗯,的确。redis的 SETNX指令不好控制这个问题。
  2. 我们当时采用的是redis的一个框架Redisson实现的。
  3. 在Redisson中需要手动加锁,并且可以控制锁的失效时间和等待时间。
  4. 当锁住的一个业务还没有执行完成的时候,Redisson会引入一个看门狗机制。
  5. 就是说,每隔一段时间就检查当前业务是否还持有锁。
  6. 如果持有,就增加加锁的持有时间。
  7. 当业务执行完成之后,需要使用释放锁就可以了。
  8. 还有一个好处就是,在高并发下,一个业务有可能会执行很快。
  9. 客户1持有锁的时候,客户2来了以后并不会马上被拒绝。
  10. 它会自旋不断尝试获取锁。
  11. 如果客户1释放之后,客户2就可以马上持有锁,性能也得到了提升。

面试官: Redisson实现的分布式锁是可重入的吗?

回答:

  1. 嗯,是可以重入的。
  2. 这样做是为了避免死锁的产生。
  3. 这个重入其实在内部就是判断是否是当前线程持有的锁,如果是当前线程持有的锁就会计数,如果释放锁就会在计数上减一。
  4. 在存储数据的时候采用的hash结构,大key可以按照自己的业务进行定制,其中小key是当前线程的唯一标识,value是当前线程重入的次数。

面试官: Redisson实现的分布式锁能解决主从一致性的问题吗?

回答:

  1. 这个是不能的。
  2. 比如,当线程1加锁成功后,master节点数据会异步复制到slave节点,此时如果当前持有Redis锁的master节点宕机,slave节点被提升为新的master节点,假如现在来了一个线程2,再次加锁,会在新的master节点上加锁成功,这个时候就会出现两个节点同时持有一把锁的问题。
  3. 我们可以利用Redisson提供的红锁来解决这个问题,它的主要作用是,不能只在一个Redis实例上创建锁,应该是在多个Redis实例上创建锁,并且要求在大多数Redis节点上都成功创建锁,红锁中要求是Redis的节点数量要过半。
  4. 这样就能避免线程1加锁成功后master节点宕机导致线程2成功加锁到新的master节点上的问题了。
  5. 但是,如果使用了红锁,因为需要同时在多个节点上都添加锁,性能就变得非常低,并且运维维护成本也非常高,所以,我们一般在项目中也不会直接使用红锁,并且官方也暂时废弃了这个红锁。

面试官: 如果业务非要保证数据的强一致性,这个该怎么解决呢?

回答:

嗯~,Redis本身就是支持高可用的,要做到强一致性,就非常影响性能,所以,如果有强一致性要求高的业务,建议使用ZooKeeper实现的分布式锁,它是可以保证强一致性的。

Redis集群

集群方案

  • 主从复制
  • 哨兵模式
  • 分片集群

主从复制

概念

单节点Redis的并发能力是有上限的,要进一步提高Redis的并发能力,就需要搭建主从集群,实现读写分离。

image-rned.png

主从全量同步原理

Replication Id:简称replid,是数据集的标记,id一致则说明是同一数据集。每一个master都有唯一的replid,slave则会继承master节点的replid。

offset:偏移量,随着记录在repl_baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset。如果slave的offset小于master的offset,说明slave数据落后于master,需要更新。

image-vcyl.png

主从增量同步原理

image-nshd.png

面试题

面试官: Redis集群有哪些方案,知道吗?

回答:

嗯~~,在Redis中提供的集群方案总共有三种:主从复制、哨兵模式、Redis分片集群。

面试官: 那你来介绍一下主从同步。

回答:

嗯,是这样的,单节点Redis的并发能力是有上限的,要进一步提高Redis的并发能力,可以搭建主从集群,实现读写分离。

一般都是一主多从,主节点负责写数据,从节点负责读数据,主节点写入数据之后,需要把数据同步到从节点中。

面试官: 能说一下,主从同步数据的流程吗?

回答:

  1. 嗯,好!主从同步分为了两个阶段,一个是全量同步,一个是增量同步。
  2. 全量同步是指从节点第一次与主节点建立连接的时候使用全量同步,流程是这样的:
    1. 从节点请求主节点同步数据,其中从节点会携带自己的replication id和offset偏移量。
    2. 主节点判断是否是第一次请求,主要判断的依据就是,主节点与从节点是否是同一个replication id,如果不是,就说明是第一次同步,那主节点就会把自己的replication id和offset发送给从节点,让从节点与主节点的信息保持一致。
    3. 在同步主节点时会执行 BGSAVE,生成RDB文件后,发送给从节点去执行,从节点先把自己的数据清空,然后执行主节点发送过来的RDB文件,这样就保持了一致。
    4. 当然,如果在RDB生成执行期间,依然有请求到了主节点,而主节点会以命令的方式记录到缓冲区,缓冲区是一个日志文件,最后把这个日志文件发送给从节点,这样就能保证主节点与从节点完全一致了,后期再同步数据的时候,都是依赖于这个日志文件,这个就是全量同步。
  3. 增量同步指的是,当从节点服务重启之后,数据就不一致了,所以这个时候,从节点会请求主节点同步数据,主节点判断是不是第一次请求,不是第一次就获取从节点的offset值,然后主节点从命令日志中获取offset值之后的数据,发送给从节点进行数据同步。

哨兵模式

作用

Redis提供了哨兵(Sentinel)机制来实现主从集群的自动故障恢复。

哨兵的结构和作用如下:

  • 监控:Sentinel 会不断检查您的master和slave是否按预期工作
  • 自动故障恢复:如果master故障,Sentinel会将一个slave提升为master。当故障实例恢复后也以新的master为主
  • 通知:Sentinel 充当Redis客户端的服务发现来源,当集群发生故障转移时,会将最新信息推送给Redis的客户端

image-ofkm.png

服务状态监控

Sentinel基于心跳机制监测服务状态,每隔1秒向集群的每个实例发送ping命令:

  • 主观下线:如果某sentinel节点发现某实例未在规定时间响应,则认为该实例主观下线。
  • 客观下线:若超过指定数量(quorum)的sentinel都认为该实例主观下线,则该实例客观下线。
    • quorum值最好超过Sentinel实例数量的一半。

哨兵选主规则:

  1. 首先判断主与从节点断开时间长短,如超过指定值就排该从节点
  2. 然后判断从节点的slave-priority值,越小优先级越高
  3. 如果slave-prority一样,则判断slave节点的offset值,越大优先级越高
  4. 最后是判断slave节点的运行id大小,越小优先级越高。

脑裂

概念

由于网络分区或节点故障等原因,导致集群中的节点之间失去通信,从而形成多个孤立的子集群。每个子集群都认为自己仍然是完整集群的主导部分,导致出现了多个独立的大脑。

配置

redis中有两个配置参数:

  • min-replicas-to-write 1 表示最少的salve节点为1个
  • min-replicas-max-lag 5 表示数据复制和同步的延迟不能超过5秒

面试题

面试官: 怎么保证Redis的高并发高可用?

回答:

  1. 首先可以搭建主从集群,再加上使用Redis中的哨兵模式
  2. 哨兵模式可以实现主从集群的自动故障恢复,里面就包含了对主从服务的监控、自动故障恢复、通知
  3. 如果master故障,Sentinel会将一个slave提升为master
  4. 当故障实例恢复后也以新的master为主
  5. 同时Sentinel也充当Redis客户端的服务发现来源,当集群发生故障转移时,会将最新信息推送给Redis的客户端,所以一般项目都会采用哨兵的模式来保证Redis的高并发高可用

面试官: 你们使用Redis是单点还是集群,哪种集群?

回答:

  1. 嗯!我们当时使用的是主从(1主1从)加哨兵。
  2. 一般单节点不超过10G内存,如果Redis内存不足则可以给不同服务分配独立的Redis主从节点。
  3. 尽量不做分片集群。
  4. 因为集群维护起来比较麻烦,并且集群之间的心跳检测和数据通信会消耗大量的网络带宽,也没有办法使用Lua脚本和事务。

面试官: Redis集群脑裂,该怎么解决呢?

回答:

  1. 嗯!这个在项目中很少见,不过脑裂的问题是这样的,我们现在用的是Redis的哨兵模式集群的。
  2. 有的时候由于网络等原因可能会出现脑裂的情况,就是说,由于Redis master节点和Redis slave节点和Sentinel处于不同的网络分区,使得Sentinel没有能够心跳感知到master,所以通过选举的方式提升了一个slave为master,这样就存在了两个master,就像大脑分裂了一样,这样会导致客户端还在old master那里写入数据,新节点无法同步数据,当网络恢复后,Sentinel会将old master降为slave,这时再从新master同步数据,这会导致old master中的大量数据丢失。
  3. 关于解决的话,我记得在Redis的配置中可以设置:
    1. 第一可以设置最少的slave节点个数,比如设置至少要有一个从节点才能同步数据
    2. 第二个可以设置主从数据复制和同步的延迟时间,达不到要求就拒绝请求,就可以避免大量的数据丢失。

分片集群

概念

主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决:

  1. 海量数据存储问题
  2. 高并发写的问题

使用分片集群可以解决上述问题,分片集群特征:

  1. 集群中有多个master,每个master保存不同数据
  2. 每个master都可以有多个slave节点
  3. master之间通过ping监测彼此健康状态
  4. 客户端请求可以访问集群任意节点,最终都会被转发到正确节点

数据读写

Redis 分片集群引入了哈希槽的概念,Redis 集群有 16384 个哈希槽,每个 key通过 CRC16 校验后对 16384 取模来决定放置哪个槽,集群的每个节点负责一部分 hash 槽。

面试题

面试官: Redis的分片集群有什么作用?

回答:

  1. 分片集群主要解决的是海量数据存储的问题,集群中有多个master,每个master保存不同数据,并且还可以给每个master设置多个slave节点,就可以继续增大集群的高并发能力。
  2. 同时每个master之间通过ping监测彼此健康状态,就类似于哨兵模式了。
  3. 当客户端请求可以访问集群任意节点,最终都会被转发到正确节点。

面试官: Redis分片集群中数据是怎么存储和读取的?

回答:

  • 嗯,在Redis集群中是这样的:
    • Redis 集群引入了哈希槽的概念,有 16384 个哈希槽。
    • 集群中每个主节点绑定了一定范围的哈希槽范围。
    • key通过CRC16校验后对16384取模来决定放置哪个槽,通过槽找到对应的节点进行存储。
    • 取值的逻辑是一样的。

IO

用户空间和内核空间

Linux系统中一个进程使用的内存情况分为两部分:

  1. 内核空间:可以执行特权命令(Ring0),调用一切系统资源
  2. 用户空间:只能执行受限的命令(Ring3),而且不能直接调用系统资源,必须通过内核提供的接口来访问

Linux系统为了提高IO效率,会在用户空间和内核空间都加入缓冲区:

  1. 写数据时,要把用户缓冲数据拷贝到内核缓冲区,然后写入设备
  2. 读数据时,要从设备读取数据到内核缓冲区,然后拷贝到用户缓冲区

阻塞IO

image-mmhk.png

非阻塞IO

image-dahn.png

IO多路复用

概念

利用单个线程来同时监听多个Socket ,并在某个Socket可读、可写时得到通知,从而避免无效的等待,充分利用CPU资源。

image-hzqu.png

实现方式

  • select
  • poll
  • epoll

select和poll只会通知用户进程有Socket就绪,但不确定具体是哪个Socket ,需要用户进程逐个遍历Socket来确认

epoll则会在通知用户进程Socket就绪的同时,把已就绪的Socket写入用户空间

Redis网络模型

Redis通过IO多路复用来提高网络性能,并且支持各种不同的多路复用实现,并且将这些实现进行封装, 提供了统一的高性能事件库

image-wqng.png

面试题

面试官: Redis是单线程的,但是为什么还那么快?

回答:

嗯,这个有几个原因吧

  1. 完全基于内存的,C语言编写。
  2. 采用单线程,避免不必要的上下文切换和竞争条件。
  3. 使用多路I/O复用模型,非阻塞IO。

例如:BGSAVEBGREWRITEAOF都是在后台执行操作,不影响主线程的正常使用,不会产生阻塞。

面试官: 能解释一下I/O多路复用模型?

回答:

  1. 嗯,I/O多路复用是指利用单个线程来同时监听多个Socket,并且在某个Socket可读、可写时得到通知,从而避免无效的等待,充分利用CPU资源。
  2. 目前的I/O多路复用都是采用的epoll模式实现,它会在通知用户进程Socket就绪的同时,把已就绪的Socket写入用户空间,不需要挨个遍历Socket来判断是否就绪,提升了性能。
  3. 其中Redis的网络模型就是使用I/O多路复用结合事件的处理器来应对多个Socket请求,比如,提供了连接应答处理器、命令回复处理器,命令请求处理器;
  4. 在Redis6.0之后,为了提升更好的性能,在命令回复处理器使用了多线程来处理回复事件,在命令请求处理器中,将命令的转换使用了多线程,增加命令转换速度,在命令执行的时候,依然是单线程