Os executáveis de 64 bits são um pouco maiores (devido aos tamanhos dos ponteiros), mas não a um grau que faria uma diferença significativa.
No entanto, é provável que você veja uma melhoria no desempenho do aplicativo sendo executado no modo de 64 bits.