Eu tenho a mesma configuração que você faz (host do Debian, VirtualBox, WinXP guest {mais um convidado do servidor Win2k3}), e o roteamento baseado em IP funciona bem sem usar portas.
Embora eu tenha criado uma entrada de arquivo hosts em cada VM que aponta para 192.168.56.1, não há nenhum "dano" em fazer isso, pois o IP nunca será alterado.