A troca no SSD será muito mais rápida do que a troca em um disco rígido magnético. Mas ainda vai ser muito ruim comparado a ter RAM suficiente.
Além disso, se você estiver se debatendo para o SSD, isso causará muitas gravações - pode desgastar o seu SSD.
Eu sugeriria analisar o zram e / ou o zswap para fazer com que seus 4GB fossem mais longe.