Supondo que você esteja executando a arquitetura x86_64 (amd64), não espere uma grande diferença no desempenho. Essa arquitetura deu às coisas uma nova linha de base para os recursos do processador (em comparação com o código de 32 bits, possivelmente voltando ao i386).
Além disso, nos kernels mundiais de 32 bits e nas bibliotecas C já foram compiladas para diferentes arquiteturas mínimas (i586, i686, ...).
Por fim, coisas como jogos, bibliotecas de compactação, ferramentas de criptografia, renderização em 3D, ... já podem incluir várias implementações de funções básicas que selecionam a implementação mais eficiente para o hardware atual.
Mas se você precisar: tentar encontrar um pacote de referência padrão confiável que meça as características de desempenho que são importantes para você. Execute-o muitas vezes e procure resultados consistentes.
Compile seu próprio kernel e execute-o várias vezes novamente.
Se você notar alguma diferença, volte ao kernel original e veja se a diferença permanece.
Depois, volte ao seu novo kernel e veja se a diferença permanece.
Muitas coisas podem criar pequenas diferenças nas medições, e eu não espero que você consiga uma grande diferença.