Você pode usar o dispositivo de balão virtio para tentar retornar a memória ao sistema, mas isso só ajuda se o sistema operacional convidado não estiver usando toda a sua memória
O KVM precisa de alguma memória para ser executado, mas acredito que muito disso será perdido após algum tempo
Além disso, se você acabar executando muitas VMs similares, certifique-se de ter a mesma fusão de páginas do Linux ativada. Isso permitirá que a memória de VMs semelhantes seja compartilhada; leva mais uso da CPU, mas vale a pena com muitas VMs. Eu acho que isso é agora por padrão no Ubuntu