Esse é um recurso de design embutido no próprio kernel. Em Linus (Torvalds) nós confiamos!
Você pode tentar ajustar algumas das características comportamentais, mas em um nível baixo, o kernel as considera apenas como sugestões. (google 'swapiness')
Muitas vezes, a permuta pode ser assumida como residindo na memória. Se um programa desejar uma proteção extra contra travamentos, ele poderá solicitar que um arquivo temporário seja sincronizado com o disco (o que pode resultar em troca). Então, após uma falha, uma troca suja pode ser detectada e algumas tentativas de recuperação de dados.
Você pode se surpreender com a frequência com que pequenas quantidades de dados são gravadas para troca (tente montar sua troca em uma unidade USB antiga e você sentirá dores quando começar a bloquear!)