使用不同的物理网络接口和默认网关从Docker容器进行路由

背景资料

我有一台带有两个运行Docker的网络接口的服务器。Docker和某些虚拟化工具一样，创建了一个名为的Linux桥接接口docker0。默认情况下，此接口的IP地址为172.17.42.1，所有Docker容器均以此接口作为网关与该接口通信，并在同一/16范围内分配IP地址。据我所知，所有的网络流量/从容器中经过一个NAT，因此出站似乎来自172.17.42.1，和入它被送到172.17.42.1。

我的安装程序如下所示：

                                          +------------+        /
                                          |            |       |
                            +-------------+ Gateway 1  +-------
                            |             | 10.1.1.1   |     /
                     +------+-------+     +------------+    |
                     |     eth0     |                      /
                     |   10.1.1.2   |                      |
                     |              |                      |
                     | DOCKER HOST  |                      |
                     |              |                      | Internet
                     |   docker0    |                      |
                     |   (bridge)   |                      |
                     |  172.17.42.1 |                      |
                     |              |                      |
                     |     eth1     |                      |
                     |  192.168.1.2 |                      \
                     +------+-------+     +------------+    |
                            |             |            |     \
                            +-------------+ Gateway 2  +-------
                                          | 192.168.1.1|       |
                                          +------------+            

问题

我想从路由/任何Docker容器列全国第二的所有通信eth1 192.168.1.2接口的默认网关192.168.1.1，同时具有自/至主机的所有流量走出eth0 10.1.1.2接口的默认网关10.1.1.1。到目前为止，我已经尝试了各种各样的方法，但是我认为最接近正确的一件事是使用iproute2，如下所示：

# Create a new routing table just for docker
echo "1 docker" >> /etc/iproute2/rt_tables

# Add a rule stating any traffic from the docker0 bridge interface should use 
# the newly added docker routing table
ip rule add from 172.17.42.1 table docker

# Add a route to the newly added docker routing table that dictates all traffic
# go out the 192.168.1.2 interface on eth1
ip route add default via 192.168.1.2 dev eth1 table docker

# Flush the route cache
ip route flush cache

# Restart the Docker daemon so it uses the correct network settings
# Note, I do this as I found Docker containers often won't be able
# to connect out if any changes to the network are made while it's     
# running
/etc/init.d/docker restart

提起容器后，这样做后我根本无法从中取出容器。我不确定桥接口的处理方式是否与物理接口用于此类路由的处理方式相同，并且只需要进行完整性检查以及有关如何完成此看似简单任务的任何提示。

您可能还必须在iptables设置上查找更多内容。Docker将来自容器子网的所有流量（例如172.17.0.0/16）伪装成0.0.0.0。如果您运行iptables -L -n -t nat，您可以在nat表下看到POSTROUTING链，该链将执行以下操作-

连锁投篮（接受政策）
目标prot opt源目的地
化妆舞会全部-172.17.0.0/16 0.0.0.0/0

现在，您可以删除此规则，并将其替换为伪装从容器的子网到第二个接口的IP-192.168.1.2的所有流量的规则，这就是您想要的。假设删除规则是POSTROUTING链下的第一条规则-

iptables -t nat -D POSTROUTING 1

然后添加此自定义规则-

iptables -t nat -A POSTROUTING -s 172.17.0.0/16 -j SNAT-源192.168.1.2

我和一个朋友碰到了这个确切的问题，我们想让docker支持服务请求的多个网络接口。我们专门与AWS EC2服务一起使用，在该服务中，我们还附加/配置/创建了其他接口。在这个项目中，除了您需要的以外，因此我将尝试仅在此处包括您需要的内容。

首先，我们要做的是为以下内容创建一个单独的路由表eth1：

ip route add default via 192.168.1.2 dev eth1 table 1001

接下来，我们配置了mangle表以设置一些来自的连接标记eth1：

iptables -t mangle -A PREROUTING -i eth1 -j MARK --set-xmark 0x1001/0xffffffff
iptables -t mangle -A PREROUTING -i eth1 -j CONNMARK --save-mark --nfmask 0xffffffff --ctmask 0xffffffff

最后，我们为所有fwmarks 添加此规则以使用我们创建的新表。

ip rule add from all fwmark 0x1001 lookup 1001

下面的iptables命令将还原连接标记，然后允许路由规则使用正确的路由表。

iptables -w -t mangle -A PREROUTING -i docker0 -m conntrack --ctstate RELATED,ESTABLISHED -j CONNMARK --restore-mark --nfmask 0xffffffff --ctmask 0xffffffff

我相信这是我们更复杂的示例所需要的，在这个示例中（如我所说），我们的项目是eth1在启动时附加/配置/ 启动接口。

现在，此示例不会停止eth0从服务请求到的连接，docker0但我相信您可以添加路由规则来防止这种情况。

化妆舞会不是来自172.17.42.1，而是

 -A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE

这意味着该规则行不通。

ip rule add from 172.17.42.1 table docker

试试看

ip rule add from 172.17.0.0/16 table docker