Se você tem um processador de 64 bits, acho que é melhor usar um sistema operacional de 64 bits quando disponível. Não importa qual placa de vídeo você tem. Mas com 64 bits, você pode acessar mais de 4 GB de RAM se decidir que precisa mais tarde. Mas você não pode atualizar de 32 para 64 bits, portanto, depois de instalar um, você precisará reinstalar para alterar no futuro.
Uma coisa a lembrar sobre o Linux é que você pode copiar o sistema operacional de um sistema para um novo sistema. Portanto, se você adquirir um novo computador mais poderoso, poderá copiar o sistema operacional de 64 bits existente para o novo sistema, se quiser, e ele funcionará.
Além disso, acredito que muitos testes mostraram que o sistema de 64 bits tem melhor desempenho em algumas situações.
EDIT, não sei quem criou as diretrizes para qual versão usar na página do Ubuntu, mas isso não faz muito sentido. Por que 2GB? 32 bits podem acessar até 4 GB. E nem sequer aborda se você tem uma CPU de 32 ou 64 bits.