Os requisitos requisitos mínimos do Ubuntu 12.04 sugerem pelo menos 512 megabytes para uma instalação de desktop.
Visite o link , eles fornecem recomendações semelhantes.
Então, eu não ficaria abaixo de 512MB, com certeza. Mas prefira manter 1024MB se você ver sua troca de host sendo ativamente usada.