O Windows Server é um SO projetado para isso. O Windows 7 é um sistema operacional baseado no cliente que possui esse recurso por conveniência.
Em outras palavras, um servidor Windows não usa o mesmo servidor de área de trabalho remota que o Windows 7 usa. Em um ambiente de servidor, você pode ter muitas conexões simultâneas, e há muitos ajustes para melhorar o desempenho, como desabilitar o Aero, onde, como no Windows 7, é muito mais orientado ao colocar o desktop "conhecido" no usuário. Existem ajustes para o servidor Windows ativar o Aero na área de trabalho remota, e uma das coisas que ele faz é diminuir o desempenho. Aposto que é isso que tem mais impacto.