Se você está falando sobre a instalação de um host, você deve ir em 64 bits. Parece que você está falando sobre um convidado, e desde que você mencionou essa pequena quantidade de memória, eu acho que seria melhor você ir com 32 bits para o convidado.
A maior vantagem de 64 bits é o endereçamento nativo de grandes quantidades de memória, e você obviamente não atingirá o limite de 4 GB. Além disso, ouvi falar de alguns casos em que 64 bits podem ser potencialmente mais lentos para determinadas aplicações.
Não consigo pensar em nenhuma vantagem para o uso de sistemas operacionais de 64 bits em um sistema, virtual ou real, com menos de 4 GB de memória.
Alguns materiais de leitura sobre o tópico podem ser encontrados na Wikipedia e aqui .
Embora pessoalmente eu provavelmente optasse por apenas dar um tapa no convidado de 32 bits, isso também depende do que você vai fazer ... se você estiver realmente preocupado, provavelmente deve instalar ambos versões (como um Debian mínimo não deve comer muito espaço de instalação) e testá-lo com a configuração que você pretende usar a VM e ver o que você pode fazer com o benchmarking. Com a sua memória sendo baixa, não há um caminho claro para ir de uma forma ou de outra ... então se você está preocupado, você teria que realmente tentar testar ambos. Crie três partições, instale o OS 32 e o OS 64 nas partições um e dois e use uma partição de dados (ok, quatro partições, já que você teria que configurar o espaço de troca também).