Eu usaria a versão de 64 bits em todos os casos, exceto em dois casos:
- Se não houver drivers para seus dispositivos (algumas impressoras antigas, programadores PIC, etc ...)
- Se você precisar de um programa que não funcione em 64 bits (o emulador celular do Windows Mobile SDK vem à mente)
- Se você tiver menos de 2 GB de RAM (conforme sugerido por jerryjvl:)).
Em todos os outros casos, use o sistema operacional de 64 bits.