A primeira ideia é separar quais interfaces são usadas para adicionar acesso à rede às VMs e quais são usadas para controlar o host. Geralmente, o terceiro conjunto de interfaces é usado para acessar as imagens da VM em algum tipo de armazenamento compartilhado na rede. Então, você tem, idealmente, 6 interfaces: 4 de Gigabit Ethernet e 2 de 10 Gigiabit Ethernet.
A segunda ideia é que você pode usar diferentes 802.1q VLANs para host e para máquinas virtuais. Eu construí uma rede onde tínhamos VMs em três VLANs diferentes e, às vezes, uma VM poderia ter participação em várias VLANs (criando várias NICs virtuais e conectando-as com várias VLANs diferentes no host)
O hadrware do servidor de anotações tem um BMC, que é usado para controlar o host fora da banda. Essencialmente, este é um pequeno computador que tem acesso aos sensores do computador host, ele pode ver valores (temperatura, ventilador rpms), ligar / desligar / redefinir host como se você apertar o botão, ainda tem funcionalidade IP KVM e assim por diante, e tem endereço de rede por conta própria. Também geralmente implementa o protocolo IPMI. Ela é exposta freqüentemente como compartilhada com LAN1 (ou seja, como um pequeno comutador, não comutador - host e BMC não podem se comunicar, mas ambos comutam com dispositivos externos) ou com tomada ethernet independente que é roteada exclusivamente para o BMC. Sistemas blade podem ter um ou dois (redundantes) BMC por gaiola, não em cada servidor blade.
A configuração segura é assim:
bond0 é (eth0, eth1) combinada pelo LACP, tem um endereço IP no host e é usado para controlar o host.
a ligação 1 é (eth2, eth3) combinada pelo LACP. É dividido com vlans, ou seja, o host tem bond1.10, bond1.552 subinterfaces virtuais etc. Existem bridges criadas: br10 bridges bond1.10 e todas as interfaces do lado do host VM para VMs que participam do vlan 10, br552 bridges bond1.552 e todo o lado do host do VM para vlan 522 e assim por diante. Nenhuma dessas interfaces tem um endereço IP, portanto, as VMs não puderam se comunicar com o host.
bond2 é (eth4, eth5) combinado e usado para acessar imagens de disco da VM via iSCSI, CEPH, para sincronizar o DRBD e assim por diante. Ele tem um IP no host, mas está conectado a uma rede de armazenamento completamente separada com seus requisitos especiais.
bond0 e bond1 devem ser separados fisicamente, para que as VMs não sejam capazes de se comunicar com o host, mas até saturar a rede de controle do host. Essa rede é usada, por exemplo, para transferir o conteúdo da memória da máquina virtual no caso de migração ao vivo para outro host, e nenhuma VM pode saturar o desempenho desse processo.
Mesmo se você estiver criando apenas um pequeno sistema com uma interface física para hospedar cinco máquinas virtuais e tiver que combinar funcionalidade de bond0 e bond1, você poderá ter endereço IP apenas na interface física (acessível como padrão / native vlan) e subinterfaces participando de pontes com adaptadores do lado do host da VM, todos marcados. Ainda assim, as VMs não podiam acessar diretamente o host, e o switch inteligente L2 e um dispositivo de firewall separado ou o switch L3 sozinho podiam fazer o roteamento entre as rotas e a filtragem de tráfego.