Primeiramente, eu recomendo que você use o Open vSwitch , onde você pode ter uma ampla variedade de configurações e gerenciamento.
Segundo, respondendo sua pergunta, você pode criar uma ponte (vamos chamar br0 ) e adicionar somente a VM mestre do Jenkins , então você cria uma segunda ponte (vamos chamar br1 ) e adicione todas as VMs, mas não uma interface física ( eth0 por exemplo). Finalmente, como você mencionou, use VM mestre do Jenkins como gateway e talvez firewall.
PS: este procedimento é um pouco longo, então deixe-me saber se eu era vago e você não entendeu completamente.