Redis实战(五)管道

54

如何优化命令频繁往返造成的性能瓶颈?

问题由来

Redis是一种基于客户端-服务端模型已经请求/响应协议的TCP服务。一个请求会遵循一下步骤:

  1. 客户端向服务器发送命令分四步(发送命令-命令排队-命令执行-返回结果),并监听Socket返回,通常以阻塞模式等待服务端响应
  2. 服务端处理命令,并将结果返回给客户端
    上述两步称为:Round Trip Time(简称RTT,数据包往返于两端的时间)

如果同时需要执行大量的命令,那么就要等待上一条命令应答后再执行,这中间不仅仅多了RTT,而且还频繁调用系统IO,发送网络请求,同时需要redis调用多次read()和write()系统方法,系统方法会将数据从用户态转移到内核态,这样就会对进程上下文有比较大的影响了,性能不太好。

解决方案——Pipeline

管道(pipeline)可以一次性发送多条命令给服务器,服务端依次处理完毕后,通过一条响应一次性将结果返回,通过减少客户端与redis的通信次数来实现降低往返延迟时间。pipeline实现的原理是队列,先进先出特性保证命令执行的顺序性。

命令实操

这里的演示环境为Centos,命令行下。先将要执行的一批命令保存到cmd.txt文件中

cat cmd.txt
> set k1 v1
> set k2 v2
> get k3
> get user:email

然后在终端执行cat cmd.txt | redis-cli -a password --pipe,即可将这批命令用管道方式执行。

在Java中应该有相应的API可以调用,盲猜入参为流。

总结

与原生批量命令对比
  • 原生批量命令是原子性的(例如:mset,mget),pipeline是非原子性的
  • 原生批量命令一次只能执行一种类型命令,pipeline支持批量执行不同命令
  • 原生批命令是服务端实现,而pipeline需要服务端与客户端共同完成
Pipeline与事务对比
  • 事务中的命令如果语法有错误,所有的命令都不会被执行,而管道中的命令会接着执行下一条命令
  • 管道一次性将多条命令发送到服务器,事务是一条一条的发,事务只有在接受到exec命令后才开始执行,而管道中的命令在到达服务器后会直接按序执行
  • 执行事务时会阻塞其他命令的执行,而执行管道中的命令时不会
使用管道的注意事项
  • pipeline缓冲的指令只是会依次执行,不保证原子性,如果执行中指令发生异常,将会继续执行后续的指令
  • 使用pipeline组装的命令个数不能太多,不然数据量过大客户端阻塞的时间可能过久,同时服务端此时也被迫回复一个队列答复,占用很多内存