Se qualquer coisa, eu diria que 64 bits será mais lento, já que usa mais RAM em geral. A menos que você precise de algum programa que seja executado somente em sistemas de 64 bits, fique com 32 bits. Se você tivesse mais perto de 4 GB de RAM, eu recomendaria 64 bits, mas a combinação do processador lento com a baixa RAM poderia não funcionar bem.
É claro que, como o Ubuntu é fácil de instalar, você pode experimentar uma versão de 64 bits e ver o que acontece. Quem sabe? Talvez isso acabe sendo mais rápido. Em geral, no entanto, a menos que você tenha 4 GB + RAM, fique em 32 bits.