O Gentoo pode ser uma boa escolha. Use sinalizadores pode ser realmente útil para cortar todas as coisas desnecessárias. E uma vez que você fez isso, é fácil de manter e mantê-lo up2date.
O Tiny Core é muito pequeno por padrão (~ 10 MB, o Micro Core é ~ 6 MB). Eu recomendo dar uma olhada nestes também.