Sim, alterar a permutabilidade pode atrasar seu computador. É o limite no qual o sistema irá trocar dados do RAM para o disco rígido, a fim de preservar o espaço. Os dados podem ser encontrados, lidos e gravados muito mais rapidamente na memória do que no disco rígido. Portanto, é melhor manter os dados na memória e só trocar para o disco rígido quando a memória é muito baixa. Por padrão, o swappiness é definido como 60 e a alteração desse valor determinará como o sistema se comportará nessas situações.
Aumentar esse valor fará com que o sistema troque com mais frequência. Mesmo quando isso pode ser desnecessário. É mais provável que os dados que você está procurando tenham sido trocados de memória. Como eu disse anteriormente, a manipulação de arquivos é muito mais lenta em um disco rígido, por isso mesmo tarefas simples podem levar muito mais tempo do que o normal para serem concluídas.
Diminuir este valor fará com que o sistema evite trocar dados para o disco rígido. Às vezes isso é recomendado para aumentar o desempenho, mas isso pode sair pela culatra se você tiver pouco ram para começar. Portanto, um valor baixo de memória RAM combinado com um baixo valor de swappiness pode resultar em um sistema que ficará sem memória rapidamente, enquanto reluta em liberar memória por meio de troca.
Eu recomendo que você retorne o valor do swappiness ao padrão de 60. Monitore como o computador se comporta. Espero que você veja melhorias.