Muito interessante você tem quase 300 MB livres e 200 em cache provavelmente suas swappines não são agressivas, eu joguei muitas vezes no meu passado com isso para ter mais performance com VPS hospedado, então você tem que mudar seu kernel vm.swappiness parâmetros para definir um limiar fino para você esses links são bons para você, mas tome cuidado para testá-lo antes de ir em produção.
Espero que ajude!