Minha sugestão é definir seu swappiness como 0.
Configurar seu swappiness para um "número menor" pode reduzir a "frequência" do uso do swap, mas configurá-lo como 0 forçará o kernel a um caminho de código diferente, forçando toda a alocação de memória a usar toda a memória e cache disponíveis antes de usar o espaço de troca.
Você pode definir o swappiness como zero, emitindo o seguinte:
echo 0 > / proc / sys / vm / swappiness