A maneira mais simples é instalar a versão Desktop e, em seguida, excluir os aplicativos desnecessários em um passo com o Synaptic. Selecione todos os aplicativos em excesso e faça com que o Synaptic faça o trabalho para você remover os aplicativos e suas dependências.
Caso contrário, o link do Ubuntu-Builder permite remover apps e dependências, pré-instalação. Há uma explicação estabelecida aqui em Como personalizar o Live CD do Ubuntu?