Você menciona que está usando o Ubuntu de 64 bits em um sistema de 2 GB. A principal vantagem do 64-bit é a capacidade de endereçar mais memória, mas para 2GB você realmente não precisa dele. Outra vantagem é que o código de 64 bits é um pouco mais rápido de executar, mas se você estiver realmente sentindo o sistema lento, você pode estar atingindo o arquivo de troca devido à exaustão da memória, o que nega a vantagem de velocidade.
A desvantagem é que o 64-bit usa mais memória do que 32 bits. Esta é uma boa troca se você precisa de um sistema para lidar com mais de 4 GB de RAM, mas para sistemas com 3 GB ou menos, isso não é problema, já que o 32-bit pode fazer isso muito bem.
Sua pergunta é se deve atualizar para 4 GB de RAM. Mais memória é sempre boa, mas se você não tem uma necessidade específica para isso, você pode instalar o Ubuntu 32-bit, que pode lidar com 2 GB muito bem, e deve ser visivelmente mais rápido em seu sistema.