Sua memória RAM em cache é de 1,4 GB e não de 6,3 GB. A RAM em cache é o oposto da memória virtual. Você está usando RAM para compensar o disco, o que acelera o acesso ao disco dos arquivos mais usados. É aí que você se beneficiaria mais com mais RAM, já que parece ter RAM disponível suficiente. Com um SSD como disco principal, a RAM armazenada em cache não é tão mais rápida quanto comparada a uma unidade giratória.
A memória virtual (ou troca no linux) pode essencialmente danificar os SSDs porque os SSDs têm ciclos de gravação limitados, mas eu não ficaria muito preocupado com isso em um PC doméstico. Os SSDs podem lidar com muitas gravações hoje em dia e o usuário doméstico médio nunca vai esgotá-lo. O aprovisionamento excessivo é uma técnica que pode prolongar a vida útil do SSD e o TRIM pode acelerar o disco para reescrever. Se você tiver um SSD grande o suficiente, recomendo habilitar ambos, no mínimo TRIM. Os melhores fabricantes de SSD incluem software e guias para ajudá-lo a obter o máximo do seu SSD.
Apenas atualizar a RAM sem desabilitar a memória virtual não alterará nada.