扩展HTTP负载平衡层的关键是首先添加另一层较低级别（IP或TCP）的负载平衡。该层可以完全用开源软件构建，尽管如果您拥有现代路由器，则可以得到更好的结果。
应该使用诸如源/目标IP和TCP端口之类的标头对流（TCP会话）进行哈希处理，以决定流向哪个前端。您还需要一种机制来确保前端消亡时不再使用。
有多种策略，我将概述在为数百万用户提供服务的站点上用于生产的几个示例，以便您可以理解。详细解释所有内容可能太花时间，但是我希望这个答案将为您提供足够的信息/指针，以帮助您入门。为了实施这些解决方案，您需要一个真正了解网络的人。
诚然，我在此描述的内容比其他答案更难实现，但是如果您的网站访问量大，可伸缩性问题大且可用性要求超过99.9％，这确实是最新技术。如果您已经拥有网络工程师，则与负载平衡器设备相比，设置和运行（在资本支出和运营支出中）的成本要低得多，并且可以进一步扩展，而几乎无需支付额外费用（与购买新设备相比，甚至更多）如果您购买的是当前型号，则价格昂贵的电器）。
第一个策略：使用防火墙
大概您有几个路由器，在这些路由器上连接了ISP上行链路。您的ISP提供2条链接（主动/被动，使用VRRP）。在路由器上，您还使用VRRP，并将进入公共网络的流量路由到防火墙。防火墙（FW 1及FW 2以下）也处于主动/被动状态，将过滤流量并将每个流发送到运行状况良好的前端服务器（您的HTTP负载平衡器FE 1及FE 2以下）。
+ -------------- + + -------------- +
| ISP路由器A | | ISP路由器B |
+ -------------- + + -------------- +
| |
==＃=====================＃==（公共网络）
| |
+ --------------- + + --------------- +
| 您的路由器A | | 您的路由器B |
+ --------------- + + --------------- +
| |
==＃================＃=======（RFC 1918专用网络）
| | | |
+ ------ + + ------ + + ------ + + ------ +
| FW 1 | | FE 1 | | FE 2 | | FW 2 |
+ ------ + + ------ + + ------ + + ------ +
目标是使流程看起来像这样：
- ISP将去往您IP的流量路由到活动路由器。
- 您的路由器将流量路由到使用RFC 1918地址的VIP 。该VIP由主动防火墙拥有，就像VRRP一样。如果您使用OpenBSD满足防火墙需求，则可以使用CARP，它是VRRP / HSRP的无专利替代方案。
- 您的防火墙应用了过滤器（例如“仅允许80 / tcp和443 / tcp转到该特定IP地址”）。
- 您的防火墙还充当路由器，并将数据包转发到健康的前端。
- 您的前端将终止TCP连接。
现在魔术发生在步骤4和5中，因此让我们更详细地了解它们的作用。
您的防火墙知道前端（FE 1和FE 2）的列表，它将根据流的特定方面（例如，通过对源IP和端口进行哈希处理以及其他标头）来选择其中的一个。但是它还需要确保将流量转发到健康的前端，否则您将使流量瘫痪。例如，如果您使用OpenBSD，则可以使用relayd。什么relayd这样做很简单：它对所有前端进行健康检查（例如，通过向其发送探测HTTP请求），并且只要前端健康，就会将其添加到防火墙用来选择给定流数据包的下一跳的表中。如果前端未通过运行状况检查，则会将其从表中删除，并且不再发送任何数据包。将数据包转发到前端时，所有防火墙所做的就是将数据包的目标MAC地址交换为所选前端的MAC地址。
在第5步中，负载均衡器（来自Varnish，nginx或其他）接收来自用户的数据包。此时，数据包仍将发送到您的公共IP地址，因此您需要在环回接口上为VIP加上别名。之所以称为DSR（直接服务器返回），是因为您的前端终止了TCP连接，并且它们之间的防火墙仅看到单工通信（仅传入数据包）。您的路由器会将传出数据包直接路由回ISP的路由器。这对于HTTP通信特别有用，因为请求往往小于响应，有时甚至很小。需要明确的是：这不是OpenBSD特有的东西，在人流量大的网站中广泛使用。
陷阱：
- 由于您使用DSR，最终用户将直接连接到您的前端服务器。也许情况已经如此，但是如果不是这样，则需要确保已充分保护它们。
- 如果使用OpenBSD，请注意内核是单线程的，因此单个CPU内核的性能将限制防火墙的吞吐量。可能是一个问题，具体取决于您的NIC类型和所看到的数据包速率。有多种方法可以解决此问题（有关更多信息，请参见下文）。
第二种策略：没有防火墙
此策略效率更高，但难以设置，因为它更多地取决于您所拥有的路由器的具体情况。这个想法是绕过上面的防火墙，让路由器完成防火墙正在做的所有工作。
您将需要支持每端口L3 / L4 ACL，BGP和ECMP以及基于策略的路由（PBR）的路由器。仅高端路由器支持这些功能，并且使用BGP时通常需要支付额外的许可费用。通常，这仍然比硬件负载平衡器便宜，并且扩展起来也容易得多。这些高端路由器的优点在于它们倾向于线速（例如，即使在10GbE接口上，它们也始终可以最大化链路，因为它们做出的所有决定都是由ASIC在硬件中完成的）。
在具有ISP上行链路的端口上，应用防火墙上曾经使用过的ACL（例如“仅允许80 / tcp和443 / tcp转到该特定IP地址”）。然后让您的每个前端与您的路由器维护BGP会话。您可以使用出色的OpenBGPD（如果您的前端在OpenBSD上）或Quagga。您的路由器将ECMP到健康的前端的流量（因为它们正在维护BGP会话）。路由器还将使用PBR适当地路由流量。
细化
- 使用防火墙对解决方案，如果您可以跨防火墙同步TCP状态，那就太好了，这样，当一个防火墙发生故障时，所有故障都能顺利转移到另一防火墙。您可以使用实现此目的
pfsync。
- 请记住，
pfsync这通常会使防火墙上的数据包速率增加一倍。
- HTTP是一种无状态协议，因此如果您在防火墙故障转移期间重置所有连接（因为不使用），那么它并不是世界末日
pfsync。
- 如果超出单个防火墙，则可以在路由器上使用ECMP将流量路由到多对防火墙。
- 如果您使用多于一对防火墙，则最好将它们全部激活/激活。您可以通过使防火墙与路由器保持BGP会话来实现此目的，就像前端需要在没有防火墙的情况下在第二个设计中维护一个BGP会话一样。
样本relayd配置
另请参阅HOWTO，网址为https://calomel.org/relayd.html。
vip =“ 1.2.3.4”＃您的公共IP地址
＃（您可以有多个，但不需要）
fe1 =“ 10.1.2.101”
fe2 =“ 10.1.2.102”
fe3 =“ 10.1.2.103”
fe4 =“ 10.1.2.104”＃您可以有任意数量的前端。
int_if =“ em0”
表<fe> {$ fe1重试2，$ fe2重试2，$ fe3重试2，$ fe4重试2}
表<fallback> {127.0.0.1}
重定向webtraffic {
在$ vip端口80上监听
会话超时60
路由到<fe>检查http“ /healthcheck.html”摘要“（healthcheck.html的sha1sum）”接口$ int_if
}