Isso vai depender muito do que você quer usar o servidor, então qualquer coisa específica que sugerimos pode ser irrelevante para você ...
Meu conselho geral é que não comece fazendo uma instalação menor que a base e removendo os pacotes.
Eu costumo usar o Debian Stable para instalações de servidor, e eu garanto que nada que não o absoluto essencial aconteça na configuração inicial (incluindo a desmarcação do padrão "padrão") sistema "opção quando solicitado pelo tasksel durante o procedimento de instalação) e eu adiciono pacotes e configurações que são necessárias a partir desse ponto. Eu suponho que o mesmo poderia ser feito com uma instalação do servidor Ubuntu, já que o Ubuntu está muito próximo do Debian em muitos aspectos.