Você deve definitivamente usar 64 bits, contanto que não use aplicativos específicos de 32 bits (talvez alguns jogos antigos, por exemplo).
Porque é o servidor - você pode instalar algo leve (como XFCE xubuntu ou LXDE lubuntu). Eles são muito leves e ainda lhe dão acesso ao resto dos aplicativos dos repositórios.