A resposta é LFS, como mencionado anteriormente. Isso é exatamente o que você está pedindo.
No entanto, parece que você quer algo um pouco mais fácil, então eu sugiro o Gentoo. Para isso, sua configuração é copiar um conjunto de software e um conjunto de ferramentas do boostrap e usá-lo para compilar e instalar um kernel, um carregador de inicialização, a própria cadeia de ferramentas e qualquer outra coisa que você queira.
Se você não quiser fazer toda essa compilação, pode ir com o Arch. Isso é semelhante em que você faz a maioria das coisas sozinho, mas é tudo em pacotes pré-compilados (bem, não o AUR, mas todo o software principal é).
Se você não quiser fazer isso você mesmo ... bem, sua pergunta dizia que sim, então eu não vou continuar na escala "fácil".