Seu servidor provavelmente tem alguns processos inativos e / ou inativos com muitas páginas inativas. O kernel do Linux prefere trocar partes inativas de programas para trocar, já que provavelmente a memória é melhor usada como cache.
Se você deseja mudar este comportamento, jogue com vm.swappiness
sysctl ajustável, mas esteja avisado, enganando os desenvolvedores de kernel / mantenedores de distro não é tão fácil. : -)
Você está tendo problemas de desempenho em seu servidor durante esse pico de troca ou perguntou por curiosidade?