A troca está contribuindo para a lentidão, ou a instância do wordpress é sempre lenta?
O SO trará memória que não está sendo muito usada, então pode haver muita memória alocada, mas ociosa - por exemplo, isso pode estar acontecendo com a memória que está sendo usada pela sua instância do wordpress porque ela não está servindo quaisquer hits enquanto estiver em desenvolvimento.