No geral, não há motivos para você migrar para 64 bits. Você provavelmente terá um melhor desempenho com aplicativos de 32 bits (ou seja, a maioria deles) em um sistema operacional de 32 bits, e os drivers não seriam questionados dessa maneira.
Ao mesmo tempo, você provavelmente não notará nenhuma degradação de desempenho na execução de x64, mas pode haver requisitos de RAM um pouco maiores.
O principal benefício da migração para 64 bits é conseguir manipular acima de 3,5 a 4 GB de RAM e executar nativamente aplicativos de 64 bits, que são poucos neste momento. Nenhum destes parece importante para você.