Se o seu sistema está trocando, isso significa que você não tem memória RAM suficiente. Você pode desativar a troca com:
sudo swapoff -a
e removendo tudo o que está relacionado a swap em /etc/fstab
, mas isso é NÃO recomendado. Em vez de ser lento, quando o sistema fica sem RAM sem swap, o assassino Linux OOM começa a matar processos. Então, ao invés de ter seu desktop reage lentamente, você simplesmente não terá um desktop:)
Uma coisa que você pode fazer é diminuir o seu nível de swappiness, o que pode ser feito com:
sudo bash -c "echo 'sysctl vm.swappiness=10' >> /etc/sysctl.conf"
ou até mesmo 1 para trocar o mínimo possível sem desabilitá-lo. Então, para que essas configurações entrem em vigor, você precisará reinicializar.