Você pode fazer isso totalmente e é bastante seguro, embora 512Mb seja um pouco baixo. Ou, na verdade, muito no lado de baixo :) Em uma máquina host de 4GB eu daria ao Ubuntu pelo menos 2Gb - isto é, se você quiser GUI, gedit e tudo mais. Se você quer apenas acesso shell, então 512Mb ou até menos ficaria bem.
Além disso, um convidado de 32 bits teria melhor desempenho em uma situação com pouca memória RAM.