Você pode baixar o mini.iso do ubuntu. O mini.iso é uma imagem netinstall e é ótimo para fazer o que você quer fazer. Quando você chega à parte da instalação que lista os diferentes desktops, basicamente desmarca tudo ou quase tudo.
Você pode querer algumas coisas mínimas como um servidor, talvez não, a escolha é sua.