Eu tenho os mesmos problemas que você. Eu tenho uma versão do Debian que eu gero com debootstrap
e a opção minbase que é 275 MB. A opção minbase instala pacotes com prioridade "essencial" (algo como esta lista ). Eu também tenho um sistema Arch com apenas o grupo de pacotes básico que é 877 MB e outro com apenas o grupo de pacotes base-devel com 685 MB.
Os grupos de pacotes base e base-devel são bem mínimos, mas não tão pequenos quanto os pacotes Debian "essenciais". Sempre há pessoas reclamando que os grupos do Arch contêm muita coisa. Embora a instalação do grupo básico (ou base-devel) seja mais fácil, não há motivo para você não escolher quais pacotes instalar.