O Linux é bastante agressivo ao trocar páginas em disco.
Isso não significa que não exista mais nenhuma cópia da página na RAM, mas ela ainda pode ser duplicada no cache de troca (uma seção da RAM que armazena em cache as páginas gravadas no disco).
A vantagem disso é que as páginas na RAM podem ser liberadas imediatamente, caso algum processo precise de memória.
Você pode verificar o valor olhando:
grep SwapCached /proc/meminfo
Além disso, se as páginas de um processo são trocadas, isso não significa que essas páginas são necessárias pelo processo, mas podem ser de alguma biblioteca vinculada, que segmentos de funções / dados nunca são usados.
Dê uma olhada em link para uma introdução ao tópico, há também um link para scripts para ver o que é trocado.
O gerenciamento de memória virtual pode ser confuso às vezes, como regra geral:
Usually you shouldn't care about how big the swap is, but how much gets swapped in and out on normal activity (check vmstat).