O que você está usando não é o KVM diretamente, mas uma biblioteca de gerenciamento chamada libvirt .
Você pode especificar um usuário que terá acesso à configuração do libvirt (e, assim, criar VMs e executar praticamente os comandos virsh ) adicionando os usuários aos grupos libvirtd e kvm no host.
Você também pode usar policykit para gerenciar o acesso, o procedimento é descrito no Wiki libvirt: SSHPolicyKitSetup | Wiki do Libvirt