O Linux irá alternar facilmente por padrão, para fazer o melhor uso da memória disponível. Você pode controlar a facilidade com que isso acontece, modificando o parâmetro do kernel "vm.swappiness". Por padrão, ele é configurado para 60, mas se você ajustar isso para 0, o sistema só fará a troca quando for absolutamente necessário.
sysctl -w vm.swappiness=0
Tenha em mente, no entanto, que o Linux geralmente faz um bom trabalho ao lidar com a troca e sua lentidão pode ser causada por outros problemas, incluindo os outros usuários com os quais você compartilha o hardware físico.