Vantagem de um kernel de 64 bits: se você quiser executar um programa de 64 bits, precisará de um kernel de 64 bits.
Desvantagem de um kernel de 64 bits: com uma userland de 32 bits, pode ser irritante às vezes, porque muitos scripts de construção assumem que o kernel e as bibliotecas são da mesma arquitetura.
Em termos de desempenho, não acho que você notará a diferença. O kernel de 64 bits deve ser melhor em criptografia, mas isso só teria importância se você fizesse uma enorme quantidade de criptografia de disco e rede e sua CPU fosse o gargalo (quase nunca é).
Então eu vou com um kernel de 32 bits no seu caso.
Instale os dois; se você mudar de ideia, o outro kernel será apenas uma reinicialização.
Veja também processador é de 64 bits - isso significa que eu preciso da imagem amd64? , Qual versão do Ubuntu usar para Desktop com 8Gb de RAM? (mas eles são sobre a escolha entre um sistema completamente de 32 bits e um sistema completamente de 64 bits).