Trocar é uma coisa muito ruim para qualquer sistema UNIX / Linux. Como você viu, é necessário um sério envolvimento de recursos no suporte à troca, especialmente no sistema de disco. Afinal, o sistema está movendo a memória para frente e para trás, para que outros programas que usam memória possam ser executados.
Se depois de analisar todos os programas em execução no seu sistema e os remover, você ainda está trocando, então sua melhor abordagem é adicionar mais memória à sua máquina.