Sim, basta instalar o Centos Minimal ou qualquer outra distro que não tenha o X Windows por padrão e executar yum -y groupinstall Virtualization
Você pode se conectar ao host via ssh e acessar as VMs usando o VNC inicialmente com uma pequena configuração necessário. Qemu não significa que você precisa do X Windows. O KVM é o módulo do kernel do Linux para virtualização e o Qemu é uma plataforma de emulação simples que funciona junto com o KVM. Libvirtd é a biblioteca de gerenciamento que fornece os comandos virsh na CLI. Eu nunca uso o X Windows nos meus hosts KVM.