Ao executar apt-get purge <packagename>
, você remove um pacote incluindo os arquivos de configuração e, seguindo isso, um apt-get autoremove
removerá completamente todas as dependências não utilizadas do sistema.
Embora você possa se divertir criando sua própria distro, definitivamente será mais trabalho do que simplesmente remover as dependências de que você não precisa.
Você tem que se perguntar se o seu sistema final estará mais próximo de um kernel linux (então comece de lá e adicione o software que você precisa, muito trabalho), ou se o seu sistema final está mais próximo do Ubuntu lá e remova pacotes + dependências).