My question is: if the compute cluster consists of virtual machines (running on multiple host machines), how can I set up a "virtual network" for all VMs?
Isso realmente depende do seu hipervisor. Tanto no VMWare quanto no Hyper-V, você pode criar redes privadas que, embora as VMs sejam fisicamente separadas, todas elas estão conectadas ao mesmo switch lógico.
A outra maneira de fazer isso é adicionar um segundo adaptador de rede virtual a cada VM e, em seguida, atribuí-lo a uma VLAN. Dessa forma, eles ficam ligados à mesma LAN física, mas estão isolados dentro dessa LAN.
Como um breve exemplo, este é o tipo de configuração que você pode desejar:
Se você observar, verá que todas as VMs estão conectadas a uma rede privada sem adaptadores físicos, o que significa que está completamente isolado do resto do mundo.