Parece que a recomendação é instalar a versão mais segura e compatível. Existem alguns programas e até mesmo alguns hardwares que funcionam melhor - ou mesmo apenas - com a versão de 32 bits, embora sejam poucos e se tornem menos.
Quando instalei o Ubuntu pela primeira vez há alguns meses, também segui a recomendação e obtive a versão de 32 bits. Depois de algum tempo eu comecei a pensar se eu poderia ter instalado a versão de 64 bits, então eu baixei e instalei. Eu achei a versão de 64 bits um pouco mais rápida e tudo correu nela, então fiquei com ela.
No entanto, também descobri que uma peça de hardware, o ponto de acesso Linksys AE1000, não possuía um driver de 64 bits e o driver de 32 bits não funcionava com ele. Para mim, não foi um problema, pois eu tinha uma conexão ethernet na minha área de trabalho e não precisava do ponto de acesso sem fio (eu o instalei com a versão de 32 bits só para ver se conseguia fazer funcionar). Mas se eu estivesse usando um laptop que precisava desse hardware em particular, eu teria que voltar para o Ubuntu de 32 bits. Então eu sugiro experimentar o Ubuntu de 64 bits, mas não exclua a versão de 32 bits até ter certeza de que o 64-bit funciona.