Acho que desativar as coisas é uma solução muito melhor como regra geral. Você começa a arrancar coisas e elas podem ser dependências de outros pacotes, ou outras coisas podem esperar que ele esteja lá, etc. Tudo o que elas farão depois de desativá-las é ocupar uma pequena quantidade de espaço e talvez adicionar um pouco de tempo às atualizações. . Eu acho que a idéia é se você pode manter seu sistema próximo ao sistema com o qual os mantenedores de distribuição estarão testando.
Além disso, você diz que 'eu teria que lembrar de instalar ...'. Eu acho que você pode querer mudar sua mentalidade, talvez um administrador de sistema futuro irá gerenciar estes, passar horas tentando solucionar algum problema estranho apenas para descobrir é porque algum pacote que normalmente está lá não é.
Seu material é bastante específico, por isso, se documentar a remoção, tudo bem, eu acho. E se você estiver fazendo centenas de implementações dessas VMs, talvez seja uma escala em que esse nível de ajustes faça sentido. No final, gosto da sua ideia de marionete.