A conclusão é que provavelmente não é uma diferença perceptível para a maioria dos usuários finais, mas 64 bits é a onda do futuro (presente?) e oferece melhorias significativas. Você poderá executar muitos aplicativos simultaneamente com 32 bits ou 64 bits, mas com o de 64 bits e muita RAM, o desempenho será melhor.
As respostas anteriores afirmaram corretamente que a quantidade de RAM utilizável ("memória endereçável" no idioma nerd) é uma diferença fundamental entre 32 bits e 64 bits. Deve ser óbvio que você só pode executar código de 64 bits em um processador de 64 bits. No entanto, até mesmo um sistema operacional que não seja "totalmente" de 64 bits pode executar processos de 64 bits. Por exemplo, o OS X adicionou suporte a 64 bits em estágios com 10.4 e 10.5 e agora 10.6 ("Snow Leopard") praticamente tudo, desde o kernel até os aplicativos incluídos, são de 64 bits.
No que diz respeito à classificação de sistemas operacionais baseados em 32/64-bit, é na verdade uma falsa dicotomia. O Windows fornece versões separadas de 32/64 bits, mas (por exemplo) o OS X é fornecido como um sistema operacional único que pode ser executado nos dois modos. A razão pela qual a Apple pode fazer isso é porque eles investiram em Rosetta e também desenvolveram e promoveram binários universais . A princípio, isso foi para fazer o trabalho de transição PowerPC → Intel, mas agora eles também podem aproveitar a tecnologia para empacotar binários de 32/64 bits no mesmo aplicativo, e o sistema operacional pode escolher qual deles iniciar conforme necessário. O suporte do Windows provavelmente será um pouco diferente.
Os limites de memória vastamente aumentados não são tão importantes para os usuários finais (pelo menos não agora), mas são críticos para aplicativos de alto desempenho e uso intensivo de memória. Mesmo assim, se uma máquina e sistema operacional de 64 bits funcionarem para você, é inteligente comprar com um olho no futuro, porque é para onde a computação está indo.
(Aviso: detalhes do Nerdy seguem ...)
Um detalhe de baixo nível, mas importante, que foi deixado de fora é que a arquitetura Intel (nee AMD) de 64 bits (também conhecida como "x86_64") tem uma estrutura de CPU diferente que adiciona alguma eficiência à arquitetura de 32 bits. Há o dobro de "registros de programa", que é basicamente uma memória rápida que a CPU pode usar para armazenar informações em cache, resultando em um ganho de desempenho. Além disso, os tempos de execução de código e linguagem de 64 bits podem descartar anos de compatibilidade com versões anteriores de 32 bits e fazer algumas novas otimizações para pipelining de código e execução que antes eram impossíveis, e o desenvolvimento contínuo do compilador continuará aumentando a lacuna.
Editar: Veja esta postagem do AppleInsider.com agora que o Snow Leopard foi lançado: link