Se você não executar serviços desnecessários ou GUI, eles não devem ser tão diferentes. O Ubuntu é baseado no Debian. Ele também tende a ter mais programas e addons disponíveis através do sistema de repositório padrão, mas eu não verifiquei como isso é verdade ultimamente.
Eu acho que você pode querer o Ubuntu simplesmente por causa da base de ajuda disponível e que o Ubuntu não é tão rigorosamente filosófico. No final, qualquer um deve funcionar bem, e qualquer um com quem você esteja mais familiarizado é aquele que você provavelmente deveria tentar usar.
A pessoa que lhe disse que o Debian era significativamente menor pode estar comparando o Ubuntu do desktop com uma instalação de servidor do Debian.
Você deve ser capaz de executar o Ubuntu Server em um estado reduzido sem muita dor de cabeça.