Se você está inclinado a roll your own
, você pode gostar de usar o debootstrap . Você pode fazer rapidamente uma distribuição muito mínima (você precisará até gerar suas próprias localidades) usando-a em apenas alguns minutos, com base em qualquer distro que use o apt.
Combine com a versão do kernel de sua escolha, e você tem um sistema muito básico.
Eu prefiro usar chroot
para adicionar o que eu quero antes de copiá-lo para a mídia de boot (você precisará fazer isso para instalar o ssh / etc)