A lógica antiga sobre o código de 64 bits foi baseada no tamanho do código, bem na verdade o tamanho do ponteiro / dados. Ambos os ponteiros e inteiros longos são agora duas vezes maiores (8 bytes vs 4 bytes). Todo esse uso de memória expandida usa mais largura de banda de memória, pode fazer com que você pagine mais para o disco, pode fazer uso menos eficiente do cache, etc.
Mesmo dizendo que, mesmo no início da mudança de x86 para 64 bits, havia vantagens em ir para 64 bits. A arquitetura ia32 de 32 bits sempre foi restrita por recursos e tinha um número muito pequeno de registros (os locais onde as coisas são adicionadas e movidas). Quando a AMD inventou seu modo de 64 bits, eles adicionaram muitos registradores (já que não precisavam ser compatíveis), então isso pode ter aumentado a velocidade em algumas circunstâncias, ou pelo menos compensar parte da perda de velocidade do aumento do tamanho do código. .
BTW: A Intel não criou as extensões de 64 bits; estava apostando duro em Itanium, que era uma nova arquitetura com um novo design radical. O que ajudou a Intel antes (compatibilidade com versões anteriores x86) prejudicou a Intel dessa vez (a compatibilidade com Itanium x86 foi um fracasso no início) e agora o Itanium é um produto de nicho. A Intel conseguiu copiar as extensões AMD64 por causa de acordos de licenciamento anteriores, rebatizou-os de EM64t e aqui vamos nós.
Agora, cada chip tem 64 bits, então se você quiser um chip de 32 bits, está usando tecnologia antiga. E muitos sistemas operacionais novos precisam de 64 bits para usar toda a RAM em sistemas.
TL; DR versão : O aviso contra o modo de 64 bits é baseado em apenas uma coisa (inflação do tamanho do código) e ignora outros avanços (melhor conjunto de instruções). Você não verá muita diferença, sinta-se à vontade para se preocupar com outras coisas