Qual sistema operacional de 32 bits e qual CPU você tem na máquina?
Se você estiver executando uma edição sem servidor do Windows ou tiver uma CPU mais antiga que não seja compatível com 64 bits, não será possível usar mais de 4 Gb de RAM.
Se você estiver executando uma das edições de determinados servidores do Windows (2000AS, 2000DC, 2003Ent, 2003DC, 2008), poderá habilitar a PAE para endereçar mais de 4 GB. PAE não é suportado por todos os processadores, e não é suportado por outras versões do Windows.
Se você estiver executando o Linux em um chip compatível com 64 bits, poderá usar um kernel de 64 bits com um espaço de usuário de 32 bits para poder usar mais de 4 Gb sem ter que reinstalar completamente para obter um total de 64 sistema de bits. No Debian, apenas apt-get install <appropriate kernel package>
e off you go. Cada processo será limitado a 3Gb de memória (RAM real mais swap), mas na maioria das soluções de VM (certamente no VMWare, como eu executo meu servidor doméstico dessa forma), isso significa que cada VM pode ter até 3Gb alocado.
Antes de tentar, verifique os documentos da sua placa-mãe para ter certeza de que ela pode realmente usar mais de 4Gb de RAM, caso contrário, não há nada que seu sistema operacional possa fazer para ajudá-lo.
Quanto ao SSD como opção de swap: você precisaria de um drive SSD bom (leia "bom" como "não é um dos mais baratos") para fazer valer a pena, e mesmo assim você terá problemas de desempenho (será muito mais rápido do que trocar de unidade de disco girando se você obtiver um bom SSD, mas não tanto quanto você esperaria). RAM mais real é o caminho a percorrer se você puder.