Acredito que essa é a mesma pergunta que esta, mesmo que você tenha ativado a troca: link
Basicamente, o kernel (ou kswapd0) está removendo todas as páginas de código (executáveis) de cada processo ativo para liberar mais memória RAM, portanto, em cada switch de contexto quando um processo retoma a execução, ele precisa ser relido do disco para a memória e só então pode continuar a execução. Isso precisa acontecer tantas vezes por segundo, juntamente com o fato de que o disco é muito mais lento que a RAM, que o sistema operacional é visto como efetivamente congelando. É como se a RAM fosse temporariamente substituída pelo disco, e tudo isso porque o kernel comete o erro de é despejar o arquivo dos processos em execução páginas executáveis de back-end também, em vez de apenas as inativas.
Se você quer tentar e ver o que acontece se o kernel não remover esses, você pode recompilar o kernel com este patch, visto em esta pergunta. O que deve acontecer é que o sistema operacional deve congelar por no máximo 1 segundo agora em vez de minutos (ou permanentemente) e deve haver pouca ou nenhuma discusão.