数据中心内的延迟是多少？我问这个假设有几个数量级的差异

我试图找出一些我找不到很好答案的东西。

如果我说一个REDIS缓存（或某些外部内存缓存）位于一个数据中心，而一个应用程序服务器位于同一数据中心，那么读取数据的网络连接速度（延迟，吞吐量）将是多少？在这两台机器之间？

例如，网络的“速度”是否仍比从REDIS上的高速缓存中寻找我的数据的RAM的速度至少高一个数量级？

我的最终问题是-是否将所有这些存储在REDIS上的内存中实际上提供了任何实用程序？与REDIS是否将所有这些都缓存到SSD上相反？内存很昂贵。如果网络确实不是数据中心内的瓶颈，则内存具有价值。否则，事实并非如此。

我想我的一般问题是，尽管数据中心内的未知数众多，并且无法进行概括和差异化，但是我们是否在谈论计算机系统中的内存延迟与内存中DC的最佳内部网络之间的数量级是否足够？减少延迟不会显着提高性能吗？我知道有很多变量，但是变量有多接近？这些变量真的那么重要吗？例如，采取双曲线的立场，磁带机的速度要比网络慢，因此磁带对于高速缓存不是理想的选择。

“每个人都应该知道的延迟图”有多种版本，例如：

• https://people.eecs.berkeley.edu/~rcs/research/interactive_latency.html
• https://gist.github.com/jboner/2841832
• https://computers-are-fast.github.io/

实际情况是，不仅仅是延迟。这是多种因素的组合。

那么，数据中心内的网络延迟是多少？延迟，嗯，我会说它总是在1ms以下。它比RAM快吗？否。它靠近RAM吗？我不这么认为。

但是问题仍然存在，是否相关。那是您需要知道的基准吗？您的问题对我来说很有意义。由于一切都是有代价的，因此您应该获得更多的RAM，以便所有数据都可以保留在RAM中，还是可以不时从磁盘读取数据。

您的“假设”是，如果网络等待时间比SSD的速度高（慢），那么将所有数据都存储在RAM中将不会使您受益，因为网络速度会很慢。

看起来会这样。但是，您还必须考虑并发性。如果您一次收到1,000个数据请求，那么磁盘可以执行1,000个并发请求吗？当然不是，那么处理这1,000个请求需要多长时间？相比RAM？

很难将其归结为单个因素，例如重负载。但是，是的，如果您只进行一次操作，网络的等待时间就是您可能不会注意到SSD与RAM的差异。

就像直到12Gbps磁盘出现在市场上一样，一个10Gbps的网络链接不会因为单个磁盘流而成为过载，因为磁盘是瓶颈。

但是请记住，磁盘正在执行许多其他操作，您的进程不是计算机上的唯一进程，您的网络可能承载其他内容，等等。

另外，并非所有磁盘活动都意味着网络流量。从应用程序到数据库服务器的数据库查询仅是非常小的网络流量。来自数据库服务器的响应可能很小（一个数字）也可能很大（一千行包含多个字段）。要执行此操作，服务器（是否有数据库服务器）可能需要执行多个磁盘搜索，读取和写入操作，但仅通过网络发送回很小的一部分。绝对不是一对一的网络磁盘RAM。

到目前为止，我避免了您问题的某些细节-特别是Redis部分。

Redis是开源的（BSD许可）内存数据结构存储，用作数据库，缓存和消息代理。- https://redis.io/

好的，这意味着一切都在内存中。抱歉，此快速SSD驱动器在这里无法为您提供帮助。Redis可以将数据持久保存到磁盘，因此可以在重启后将其加载到RAM中。这只是为了不丢失数据，或者在重新启动后必须重新填充冷缓存。因此，在这种情况下，无论如何都必须使用RAM。您将必须有足够的RAM来容纳您的数据集。RAM不足，我想您的操作系统会使用swap-可能不是一个好主意。

计算机系统中有许多高速缓存层。在应用程序层插入一个可能会有益，可以缓存API和数据库查询。还有可能是临时数据，例如用户会话。

像Redis这样的数据存储通过网络（快速）或UNIX套接字（甚至更快）提供这种服务，就像使用数据库一样。

您需要衡量应用程序的实际性能，但让我们举一个例子。假设一个普通用户请求执行5个API查询，每个查询耗时50毫秒。250 ms是用户可检测到的延迟。与缓存结果相反。即使缓存位于镇上不同的可用区域中（不是最佳状态），命中最多也可能是10毫秒。这将是5倍的加速。

实际上，数据库和存储系统也具有自己的缓存。但是，通常获得预取结果要比再次通过数据库引擎和存储系统层更快。此外，缓存层还可以减轻其背后的数据库的负担。

有关生产中此类高速缓存的示例，请参阅关于体系结构的Stack Overflow基础架构博客。成千上万的HTTP请求产生数十亿的Redis命中率是非常重要的。

内存很昂贵。

访问时间为100 ns的DRAM大约比固态永久存储快100倍。这种性能相对便宜。对于许多应用程序，更多的RAM购买了宝贵的速度和响应时间。