Resposta curta: SIM.
O limite de 32 bits é exatamente 4Gb. No caso do Ubuntu, até mesmo uma quantidade maior de memória RAM pode ser usada com 32 bits se você estiver executando o chamado kernel 'PAE'. O instalador é inteligente o suficiente para escolher o melhor kernel baseado na quantidade de memória RAM.