Isso é normal. Páginas usadas por VMs ociosas serão trocadas e a memória será usada para cache. Você pode definir swappiness como zero, o que pode impedir que o swap seja usado assim ao custo do desempenho (cache menor).
Aqui está a recomendação da Red Hat (com muitos YMMVs):
The swap space is calculated as follows:
Calculate the amount of memory needed for the sum of all the guests - In this example: (50 guests * 1GB of memory per guest) = 50GB
Add the guest memory amount to the amount needed for the host OS and for the host minimum swap space - In this example: 50GB guest memory + 4GB host OS + 4GB minimal swap = 58GB
Subtract this amount from the amount of physical RAM there is on the system - In this example 58GB - 32GB = 26GB
The answer is the amount of swap space that needs to be allocated. In this example 26GB
Este exemplo não leva em consideração a mesclagem de mesma página (KSM) do kernel, que reduzirá a quantidade de memória usada.
Aqui RH está dizendo 4G swap para host, mas aqui eles recomendam 12G * 0,5 = 6G swap para você.
Se você é novo no KVM, recomendo a leitura das Melhores Práticas para o KVM