O kernel Linux decide colocar as páginas de memória em swap quando elas não são usadas com muita freqüência, mesmo quando há alguma memória disponível. Você pode ajustar esse comportamento ajustando o 'swappiness' do gerenciador de memória fazendo
$ echo 50 > /proc/sys/vm/swappiness
onde 50
é um valor entre 0
(troca o mínimo possível) e 100
(troca o quanto você quiser).
Veja também Wikipedia: swappiness para ler mais sobre isso.