如果redis已经是堆栈的一部分,为什么Memcached仍与Redis一起使用?


85

Redis可以完成Memcached提供的一切(LRU缓存,项目到期,现在在3.x +版本中,目前处于beta版本),也可以通过twemproxy之类的工具完成。性能也差不多。此外,Redis添加了持久性,因此在服务器重新启动的情况下无需进行缓存预热。

请参考一些比较Redis和Memcache的旧答案,其中一些更喜欢Redis替代Memcache(如果已在堆栈中):

尽管如此,在研究大型网络公司(如Instagram,Pinterest,Twitter等)的堆栈时,我发现他们同时将Memcached和Redis用于不同目的,而不是将Redis用于主要缓存。主缓存仍是Memcached,Redis用于其基于逻辑缓存的数据结构。

从2014年开始,当您已经拥有可以执行memcached可以做的所有事情的Redis组件时,为什么仍然值得把memcached作为额外的组件添加到堆栈中呢?有什么优势使建筑师/工程师除了已经存在的Redis之外仍包括内存缓存?

更新:

对于我们的平台,我们已经完全丢弃了Memcached,并使用redis满足了普通缓存和逻辑缓存的要求。高性能,灵活且可靠。

一些示例方案:

  • 按特定模式列出所有缓存的键,然后读取或删除它们的值。在redis中非常容易,在memcached中不容易做到。
  • 要存储超过1mb的有效负载(在redis中很容易做到),需要在memcached中调整平板大小,这本身就有性能方面的副作用。
  • 当前缓存内容的简单快照
  • Redis集群以及语言驱动程序也已准备就绪,因此集群部署也很容易。

Answers:


122

我今天将其视为Redis上的memcached的用例的主要原因是,使用HTML片段缓存(或类似的应用程序)应该能够获得出色的内存效率。如果您需要将对象的不同字段存储在不同的Memcached键中,则Redis哈希将提高内存效率,但是当您具有大量键-> simple_string对时,memcached应​​该能够为您提供更多项兆字节。

关于memcached的其他优点是:

  • 这是一段非常简单的代码,因此,如果您只需要它提供的功能,那么我猜它是一个合理的选择,但是我从未在生产中使用过它。
  • 它是多线程的,因此如果您需要在单框设置中进行扩展,那是一件好事,您只需要与一个实例进行对话。

我相信,随着人们转向智能缓存或尝试通过Redis数据结构保留缓存数据的结构,将Redis作为缓存变得越来越有意义。

Redis LRU和内存缓存LRU之间的比较。

memcached和Redis都不会执行真正的LRU驱逐,而只是近似执行。

Memcache逐出是按大小分类的,并且取决于其slab分配器的实现细节。例如,如果您要添加适合给定大小类的项目,则memcached会尝试删除该类中过期/未使用过的项目,而不是尝试全局尝试以了解对象是什么,而不管其对象是什么。大小,这是最佳人选。

相反,Redis尝试在maxmemory达到限制时选择一个好的对象作为驱逐对象,查看所有对象,而不管大小级别如何,但只能提供一个近似的对象,而不是闲置较大的最佳对象时间。

Redis这样做的方法是对一些对象进行采样,然后选择空闲时间最长(未访问)的对象。由于Redis 3.0(当前处于beta版),该算法得到了改进,并且在逐出过程中也采用了良好的候选库,因此对近似值进行了改进。在Redis文档中,您可以找到描述和图形以及有关其工作方式的详细信息

为什么对于简单的字符串->字符串映射,memcached的内存占用空间比Redis好。

Redis是一款更复杂的软件,因此Redis中的值以一种类似于高级编程语言中的对象的方式进行存储:它们具有关联的类型,编码,用于内存管理的引用计数。这使得Redis内部结构良好且易于管理,但是与仅处理字符串的memcached相比,其开销很大。

当Redis开始提高内存效率时

Redis能够以特殊的内存节省方式存储小型聚合数据类型。例如,一个小的Redis Hash(代表一个对象)在内部不存储在哈希表中,而是存储为二进制唯一的Blob。因此,将每个对象的多个字段设置为散列比将N个分离的键存储到memcached中更为有效。

实际上,您可以将对象作为单个JSON(或二进制编码)blob存储到memcached中,但是与Redis相反,这将不允许您获取或更新独立字段。

Redis在智能缓存方面的优势。

由于Redis数据结构的原因,当缓存无效时,与memcached一起使用的破坏对象的常用模式是使用Redis的一种原始方法,以便稍后从DB重新创建它。

例如,假设您需要缓存发布到Hacker News中的最新N条新闻,以便填充网站的“最新”部分。使用Redis的方法是获取插入最新消息的列表(最多M个项目)。如果您使用另一个存储来存储数据,并将Redis用作缓存,则要做的是在发布新项目时填充两个视图(Redis和DB)。没有缓存无效。

但是,应用程序始终可以具有逻辑,因此,如果发现Redis列表为空(例如在启动后),则可以从DB重新创建初始视图。

通过使用智能缓存,与memcached相比,可以使用Redis以更有效的方式执行缓存,但是并非所有问题都适用于此模式。例如,HTML片段缓存可能无法从该技术中受益。


感谢创作者Antirez。但是**为什么纯字符串的Redis内存占用量比memcached的内存占用量更多?**压缩是一个因素吗?还是使用SET来存储纯字符串时Redis会存储其他一些额外的数据?如果您可以在答案中包含此信息,那就太好了。
DhruvPathak

3
我试图改善答复。感谢您的反馈。
antirez

3
上述“智能”的另一方面,或者通过操作和/或脚本利用Redis的数据类型和服务器端逻辑,可以节省应用程序复杂性和网络(如antirez的@antirez所述)。 com / news / 73和Yiftach,网址redislabs.com/blog/the-proven-redis-performance)。
Itamar Haber's

1
Antirez感谢您的回答。另一个原因可能是memcached速度更快。这也是旧版软件,许多框架默认都支持它
Nick

3
出色的答案,一定喜欢Redis的父亲对社区的奉献。
曼恩2014年

13

习惯很难打破:)

严重来说,有两个主要原因-据我了解-为什么仍使用Memcached:

  1. 旧版-熟悉并熟悉Memcached的开发人员以及支持它的应用程序。这也意味着它是一项成熟且经过测试的技术。
  2. 扩展-标准的Memcached可以轻松地水平扩展,而Redis(直到并排除即将发布的v3)为此需要做更多的工作(即分片)。

然而:

  1. 回覆。传统-鉴于Redis的健壮性(数据结构,命令,持久性...),正在积极开发并以每种可能的语言来开发客户端-通常都会使用它开发新的应用程序。
  2. 重新缩放-除了即将推出的v3,还有一些解决方案可以使缩放更加容易。例如,Redis Cloud提供无缝扩展,而不会丢失数据或中断服务。缩放/分片Redis的另一种流行方法是twemproxy

1
只需注意一下:正如目前的维护者在Twitter上确认的那样,Memcached仍在积极开发/维护。我猜它通常不添加新内容的事实是由于项目达到的成熟度以及不愿意添加新内容的缘故,因此,新的开发集中在优化/修复上。
antirez

1
直到Memcached仍然活着并踢着踢-编辑我的答案/ ty antirez&dormando
Itamar Haber

1
与纯缓存方案的Redis分片相比,一致性散列仍然是用于正常失败的更健壮的模型。当节点掉落时,缓存键会自动移至其他服务器。只要您拥有单个服务器,您的缓存就仍然可以运行,而与redis相反,如果您丢失任何哈希组的主服务器和从属服务器,则群集将失败。
Usman Ismail 2014年

1
RedisLabs非常好。这是Userify Cloud背后的关键技术。
fatal_error 2015年

1
我还非常怀疑不是多线程和基于事件循环的任何实现。...好吧,现在每位表演道歉专家都在哪里,我已经安排了他们的晚餐。现在redis可以做到这一点,而我将从系统方面更加专业。不过,在这一点上,除非开发组具有异常的缓存能力,否则memcached是一种简单且更有效的实现....功能永远不会免费,不要让辩护者告知您它们的存在,或者您的花费微不足道。
JM Becker
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.