是否为iSCSI设置了HP ProCurve 2810-24G?


8

我有一双ProCurve 2810-24G,将与Dell Equallogic SAN和Vmware ESXi一起使用。由于ESXi执行MPIO,因此我对交换机之间的链接的配置不确定。中继线在交换机之间穿线是否正确?

我知道SAN和ESXi主机的端口应未标记,这是否意味着我要在中继端口上标记VLAN?

这或多或少是配置:

trunk 1-4 Trk1 Trunk 
snmp-server community "public" Unrestricted 
vlan 1 
    name "DEFAULT_VLAN" 
    untagged 24,Trk1 
    ip address 10.180.3.1 255.255.255.0 
    no untagged 5-23 
exit 
vlan 801 
    name "Storage" 
    untagged 5-23 
    tagged Trk1 
    jumbo 
exit 
no fault-finder broadcast-storm 
stack commander "sanstack" 
spanning-tree
spanning-tree Trk1 priority 4
spanning-tree force-version RSTP-operation

Equallogic PS4000 SAN具有两个控制器,每个控制器都有两个网络接口。Dell建议将每个控制器连接到每个交换机。从vmware文档中,似乎建议为每个pNIC创建一个vmkernel。使用MPIO,这可以允许超过1 Gbps的吞吐量。

在此处输入图片说明

Answers:


12

由于对Equallogic的网络要求和多路径行为的某些了解不足,对Chopper3的答案的评论中存在一些辩论,但没有得到足够的了解。

首先是VMware方面: 对于ESXi方面的入门者,当前的建议(当使用iSCSI Software Initiator时)是从VMware(对于ESX \ ESXi 4.1)和Dell使用的,这是您应该将单个物理Nic映射到每个VMkernel端口。用于iSCSI。现在建议使用绑定过程来强制执行此操作。它要求每个VMkernel端口只有一个活动的物理网卡,而没有备用网卡。不允许绑定。现在,您可以作弊,然后再返回并添加故障转移NIC,但目的是MPIO将处理故障转移,因此没有任何用处(至少当一切按VMware预期运行时)。

默认的多路径策略将允许使用轮询机制主动连接到Equallogic阵列。

其次是Equallogic方面: Equallogic阵列具有双控制器,以主动/待机模式运行。对于PS4000,每个控制器上都有两个千兆Nic。对于活动控制器,这两个网卡均处于活动状态,并且可以从同一源接收IO。网络配置建议将阵列的NIC连接到单独的交换机。从服务器端,您具有多个链接,这些链接也应分配给单独的交换机。现在,对于奇怪的部分-Equallogic阵列期望所有启动器端口都能看到阵列上的所有活动端口。这是您需要在两个交换机之间建立中继的原因之一。这意味着对于具有两个VMkernel iSCSI端口和一个PS4000的主机,启动器和目标之间有4条活动路径-其中两条是“直接”路径

对于备用控制器的连接,将应用相同的规则,但是仅在控制器故障转移且适用相同的原理后,这些NIC才会变为活动状态。在此环境中进行故障转移后,仍然会有四个活动路径。

第三,实现更高级的多路径: Equallogic现在具有一个多路径扩展模块,该模块可插入VMware可插拔存储体系结构中,从而跨VMkernel端口提供智能负载平衡(使用最小队列深度,循环或MRU)。如果所有vmkernel上行链路网卡都无法连接到所有活动的Equallogic端口,则此方法将不起作用。这还可以确保实际使用的路径数量保持合理-在大型Equallogic环境中,主机和Equallogic组之间的有效路径数量可能非常高,因为所有目标NIC都处于活动状态,并且所有源NIC都可以看到所有目标NIC。

较大的Equallogic环境的第四项: 在扩展Equallogic环境时,需要将其他阵列添加到共享组中。组中所有成员阵列上的所有活动端口必须能够查看同一组中所有其他阵列上的所有其他活动端口。这是为什么您需要胖管道在Equallogic iSCSI结构中的所有交换机之间提供交换机之间的互连的另一个原因。这种扩展还极大地增加了发起方和目标之间有效有效路径的数量。借助由3个PS6000阵列(每个控制器四个NIC,而PS4000为2个)组成的Equallogic组以及具有两个vmkernel端口的ESX主机,MPIO堆栈将有24种可能的活动路径可供选择。

均衡环境中的第五个Bonding \ link聚合和Inter Switch链接:所有的inter阵列和initator <-> array连接都是单点对点千兆连接(如果您有10Gig阵列,则为10Gig)。无需在ESX服务器端进行绑定,也不会从中受益,也无法绑定Equallogic阵列上的端口。在Equallogic交换以太网结构中,链路聚合\绑定\无论您要呼叫什么的唯一相关区域是交换机间链路。这些链接需要能够承载并发流,这些并发流必须等于您环境中活动的Equallogic端口的总数-即使阵列端口和Iniatator端口之间的每个点对点链接限制为1gbps,您也可能需要大量聚合带宽。

最后: 在Equallogic环境中,从主机(启动器)到阵列的流量可以并且将遍历交换机间链接。特定路径是否这样做取决于该特定路径的源和目标ip地址,但是每个源端口都可以连接到每个目标端口,并且这些路径中的至少一个将需要遍历ISL。在较小的环境(如此环境)中,所有这些路径都将被使用并处于活动状态。在较大的环境中,仅使用可能路径的子集,但会发生相同的分布。主机可用的iSCSI总带宽(如果配置正确)是其所有iSCSI vmkernel端口带宽的总和,即使您连接到单个阵列和单个卷也是如此。另一个问题可能是效率如何,这个答案已经太久了。


1
您需要遵循此建议!我为中西部最大的EQL经销商工作,我每天都安装这些系统。标记/中继是一种让MEM插件为您创建vswitch的方法。您的ISL应该尽可能地大以使其成为连接明智的。我们通常使用可堆叠开关。Juniper EX4200对iSCSI而言是极好的。
SpacemanSpiff

哇,真棒的答案。直到现在才看到此消息,但我确实设法使它一切正常并按预期工作,并且iometer结果表明它的性能和获得的一样好。仍然必须检查所有冗余。非常感谢您提供极为有用的答案!
3molo 2011年

6
Since ESXi does MPIO, I am a little uncertain on the configuration for links between the switches. Is a trunk the right way to go between the switches?

ESX / i会执行自己的路径管理-除非两个或多个链接进入同一个交换机,或者这些交换机处于CAM共享模式(例如Cisco VSS),否则它不会在其链接上处于活动状态/活动状态否则将为主动/被动配置。

如果您愿意,一定要在交换机之间建立中继,但大概它们都具有到某个核心交换机或路由器的上行链路?如果是这样,那么我不太确定为什么您会以这种方式在两个交换机之间中继,因为如果第一个交换机出现故障(如果配置正确),ESX / i框将仅切换到第二个交换机。

I know that the ports for the SAN and the ESXi hosts should be untagged, so does that mean that I want tagged VLAN on the trunk ports?

我不知道此假设来自何处,无论是来宾还是iSCSI流量,ESX / i都可以在带标签或无标签的设置中工作。那就是说在使用默认VLAN时,我在混合标记和未标记时遇到了问题,因此我现在始终标记所有内容,并且没有默认VLAN,这是一种非常灵活的设置,并且在我的经验中没有明显的性能下降。


我很确定,SAN存储的ESXi文档指出,不应该绑定网卡,而应该依赖MPIO来提高性能和冗余的好处(无论链接是否连接到同一台交换机)。当然,将没有到核心交换机的上行链路,这是一对仅用于存储的交换机。我还指出,我打算对主机和SAN使用未标记的VLAN,以使我的问题仍然有效。我应该还是不应该在中继链路中使用TAGGED?
3molo

1
使用标记端口的原因是,如果您需要在其下携带多个VLAN。标记VLAN使您能够区分它们。您也不需要使用LACP来创建链路聚合(用于HP的中继,用于Cisco的Etherchannel)捆绑。您可以设置静态聚合组,并从交换机平衡和故障转移中受益。话虽如此,通常也要保留交换机端,让ESX处理流量决策。
mcmeel 2011年

mcmeel,请考虑写一个真实的答案。它更易于评论。如果我让ESXi来做决策,请不确定交换机间的配置如何?
2011年

-1菜刀,我觉得您要么对这个主题不够了解,要么您没有完全阅读我的问题。
2011年

1
LAG正常工作。我有两个1 Gbit链路,每个EQ连接到一个交换机。我的连续读写速度高达235 MB / s。要么我们根本不了解对方,要么我在关于设置的声明中是对的。顺便说一句,它的轮询机制,但是它声明了active / active。
3molo 2011年

1

SAN阵列控制器定义了连接方式。是否在同一控制器的两个端口上提供相同的LUN?然后,端口0进入交换机A,端口1进入交换机B,并且与下一个控制器相同。

为什么要针对具有1gbit上行链路端口的iSCSI SAN使用LACP / etherchannel?它没有任何帮助。在每个vSwitch中创建2个带有单个pNic的vswitch,然后将第一个pNic连接到switchA,将第二个pNic连接到switchB。这将为您提供针对控制器/交换机/网络故障的完全冗余。


etherchannel / LACP仅是内部交换机,但这对我没有帮助吗?我想过,由于MPIO,交换机之间的连接可能会遍历,比如说某个控制器上连接了交换机的端口。
3molo

为什么交换机之间会遍历连接?这没有道理。
pauska

1
每个启动器都与组IP联系,该组IP重定向到组中NIC之一的IP。没有任何事情可以阻止交换机A上的启动器连接到与交换机B相连的NIC上的阵列。基于连接数,交换机之间的4GB LACP链接应足以避免任何麻烦。我个人更喜欢将控制器上的所有端口连接到一个交换机。拆分它们时,如果出现故障,则将阵列上的带宽减少一半。
SpacemanSpiff

很好的答案SpacemanSpiff,我选择了2条LACP链接。
3molo 2011年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.