Você é livre para configurá-lo como quiser, mas geralmente as pessoas fazem uma das duas configurações:
internet <---------> (nic1) server (nic2) <----------> (nodes)
internet <---------> switch ----- (nodes)
|
-----> server
O primeiro precisa do ip_forward ativado no kernel.
Os iLOs podem estar em sua própria rede ou na rede existente, não importa.