Só para esclarecer, você quer fazer uma instalação autônoma? Se não, você pode dizer ao instalador do Debian para instalar apenas o software mínimo para levantar o sistema, e depois adicionar coisas depois. Isso normalmente só instala coisas básicas, e nada de X.
Alternativamente, você pode usar a pré-configuração do debconf com FAI . Não tenho certeza se você pode fazer uma instalação mínima do Debian com isso, mas não vejo por que não. Procure por "debconf preseeding fai" ou "debconf preseeding".
Como alternativa, o primeiro hit do Google para "instalador do Debian personalizado" é o link , mas o que você está tentando fazer pode ser um exagero.