Do ponto de vista da segurança, instalar uma GUI é uma má idéia, pois expande muito a superfície de ataque do host. Certamente, uma GUI ocupa alguns recursos que poderiam ser usados pelas VMs. O Gnome utilizará recursos sempre que estiver em execução, independentemente de estar ou não em uso.
A solução que normalmente uso é NÃO instalar uma GUI no servidor, mas instalo os requisitos mínimos (pacote xauth), acesso a máquina via SSH e depois executo o virt-manager através de SSH de forma que ele exporte para minha estação de trabalho. O benefício adicional é que posso fazer isso de qualquer lugar (e também posso ativar a compactação no SSH para conexões mais lentas)