Eu recomendaria o Gentoo, mas não é para os fracos de coração. Realmente isso dependeria do seu nível de experiência com o Linux.
Com ele, você pode personalizar o desempenho dos pacotes instalados sem inchaço ao obter um sistema inchado.
Também recomendo procurar no fluxbox ou no openbox por um gerenciador de janelas minimalista.