Se você não precisa manter cada instância do sistema operacional em execução ao mesmo tempo, uma máquina básica de classe de PC deve ser adequada. Se fizer isso, você precisará aumentar um pouco a memória, então considere talvez uma solução Windows Server 2008 de 64 bits com pelo menos 8 GB de RAM. Retirar 512 MB deste para cada instância do XP (eu também coloquei cada um dos outros navegadores em uma instância separada) parece bem. Vá, talvez, quad-core, pois você também precisará de um pouco mais de CPU.
O sistema operacional host é um grande fator. Eu disse um sistema operacional de servidor acima, como XP (ou 7) é limitado no número de conexões RDP simultâneas que ele pode aceitar. Uma alternativa seria habilitar o RDP em cada sistema operacional do cliente, caso em que você iria sair com o Windows 7 lá. Eu não usaria o XP no host, pois o Windows 7 é uma plataforma muito mais madura para executar em um ambiente de 64 bits.
A Área de Trabalho Remota é bastante eficiente e, se estiver tudo na capacidade de resposta da LAN local / etc, deverá estar OK. Tenha em mente que você terá várias conexões simultâneas pelo mesmo NIC, então é provável que seja o único gargalo remanescente. Poderíamos entrar em vários NICs e usar algo mais empolgante do que o Virtual PC, mas isso provavelmente está colocando você em um território de dinheiro bobo.