Você pode experimentar o personalizador: link Eu usei-o com grande sucesso para criar uma unidade flash de inicialização personalizada contendo minhas ferramentas de recuperação de desastres favoritas.
Embora eu usei para adicionar mais pacotes à minha imagem personalizada, ele pode ser usado igualmente para remover pacotes. Isso porque alguém entra em uma janela onde o apt-get é usado para adicionar ou remover pacotes. No seu caso, você usaria o apt-get para remover pacotes indesejados. Isso tem a vantagem de que todas as dependências são devidamente preservadas.
Quando você inicia o Customizer, escolhe uma imagem de inicialização. É preferível começar com o fornecido pelo Ubuntu. Eu uso o Unetbootin para transferir o arquivo .iso recém-criado para uma unidade flash