Algumas coisas ... não são exatamente uma "resposta", mas não são realmente um comentário, e acho que isso vai ajudá-lo. Se você reler as diretrizes da pergunta fazendo uma pergunta melhor, também poderá ajudar, já que é mais provável que você receba uma resposta direta e correta ...
O Wired é melhor que o wireless, quase sempre. Se você deve usar wireless, minimize o número de clientes - não seja "bem, eu tenho minha impressora em wireless, também posso colocar todo o resto desde que eu tenha o access point configurado, etc". Mesmo com velocidades teóricas iguais, o wireless é mais como usar um hub em vez de um switch - quanto mais clientes, mais congestionamento, pior desempenho.
O X11 sobre SSH (a única maneira de fazer desktops remotos para Linux e não o Windows) é tolerável em uma conexão de 1 mb, funciona bem em 10mb ethernet, funciona perfeitamente em ethernet de 100mb e em um gigabit rede você pode estar sentado na máquina, então eu não acho que é a sua largura de banda.
Dependendo de quais sistemas operacionais estão em execução (tanto no ponto remoto quanto local), a área de trabalho remota pode ser projetada em rede, como o protocolo X11, ou pode ser de terceiros e enviar o equivalente a muitos JPEGs para a exibição. isso usa muito mais largura de banda. Se você estiver usando o Linux no terminal remoto, encaminhe o X11 pelo SSH. Se você estiver usando o Windows no final remoto, use as ferramentas RDP adequadas - ele funcionará melhor, pois será mais integrado. Ou considere configurar um Windows Terminal Server.
Como em um servidor de VM ... a maneira correta seria usar um hipervisor bare metal (hypervisor tipo 1) em uma máquina ou cluster suficientemente robusta para manipular suas VMs. Se você não pode fazer isso e deve usar um Type2 (como o VirtualBox), então você quer um sistema operacional host que tenha o mínimo de recursos possível - basicamente, execute o Linux como host.