Você pode usar as regras do PolicyKit para "desbloquear" o libvirt para uids que são membros de um grupo específico do gid. Aqui está outra questão, que faz isso para o virt-manager (que, como o console virsh, é baseado no libvirt).
Conselhos específicos para "desbloquear" o virsh desta forma:
Note que, como eu entendo as coisas, usar o polkit como este fará com que todo do libvirt (e, portanto, todo o virsh) seja desbloqueado para uids no grupo-gid especificado; talvez você não consiga impedir que o proprietário guestVM acesse outras VMs por meio do virsh e / ou virt-manager, em outras palavras.
Advertência: esta resposta provavelmente permite que você consiga que o console virsh funcione sem um prompt de senha, mas também pode permitir que outras coisas funcionem (o que você pode não querer). Insira as isenções de responsabilidade habituais aqui, sobre como testar cuidadosamente sua segurança depois de tentar qualquer tipo de alteração como essa; você pode estar diminuindo suas defesas mais do que queria.