Dê uma olhada em este artigo. Explica o problema, fornece solução e alguns benchmarks rápidos. Em suma algumas configurações que devem melhorar a situação são:
vm.swappiness=20
vm.vfs_cache_pressure=50
Explicação de o que são e o que fazem podem ser encontrados no artigo.