A RAM oficial mínima recomendada para um sistema desktop é de 512Mb embora eu tenha rodado 9.04 em uma máquina física antiga com apenas 384Mb e era lenta, mas praticamente aceitável (minha máquina principal estava tocando, então usei a máquina antiga como medida de emergência para obter alguns emails lidos + enviados e um documento juntos).
Abaixo de 512Mb, o sistema operacional usará espaço de troca, mas em um ambiente de VM, a leitura de troca pode ser uma operação que lê os dados do cache de hosts, em vez do disco físico (e se ter a opção "otimizar para velocidade" em vez de "otimizar para segurança" ao escrever para swap também será armazenada em buffer) para que você possa dar menos memória RAM à VM, como os 256Mb que você cita, contanto que você esteja bem sendo lento por um curto período de tempo quando você for usá-lo pela primeira vez após algumas horas de distância (como qualquer informação da VM, nesse caso, provavelmente foi substituída no cache por bits mais recentemente usados de seus sistemas de arquivos. não dê a VM menos de 256Mb embora.
Para reduzir o uso de RAM, você pode tentar lubuntu ao invés do Ubuntu: é o mesmo sistema básico, mas com um ambiente de trabalho menos exigente e menos instalado / funcionando por padrão. Você pode ser capaz de empurrar a RAM alocada para a VM para 192Mb ou talvez até 128, ou se você ficar com 256Mb, ela deve ser mais responsiva do que a configuração padrão do Ubuntu.