Se você tiver apenas 4 GB de RAM, então 64 bits não será bom para o desempenho. Se você planeja atualizar o RAM, você pode querer 64 bits, mas se você não for atualizar no futuro próximo, eu não me incomodaria com isso. Além disso, para uma instalação, prefiro um disco de instalação de DVD real. Eu os considero mais confiáveis do que as unidades USB, já que mais máquinas podem inicializar um DVD, mas não USB.
O Ubuntu 14, na minha experiência, parece rodar tão rápido quanto o Ubuntu 12. Você pode querer experimentar o Ubuntu 15, a última versão.