Eu sugeriria ver uma distro de uso único, como o GParted .
É uma distro bastante mínima, mas vem com o conjunto padrão de utilitários, que você mencionou (e mais alguns). Se encaixa muito bem em uma pequena unidade USB também.
Outra distro tão pequena é TinyCore . Com apenas 16MB de tamanho, é uma distro mínima, mas completa, com tudo que você precisa, quando você sabe o que está fazendo. Mesmo nesse tamanho pequeno, ele vem com uma interface gráfica. Há um lançamento ainda menor chamado simplesmente "Core". Com apenas 11MB, ele vem com apenas a interface de linha de comando, mas, caso contrário, um sistema operacional pequeno, mas decente.
O TinyCore e sua variante TinyCore Plus (106MB) são minhas distros para computadores muito antigos. Como os computadores portáteis da metade dos anos 90, ou dos anos 90 (pense em 486).
Todas as variantes do TinyCore são inicializadas a partir de pen drives ou mídia ótica.
Fli4l é outra districto de nicho, voltada para o trabalho como um pequeno servidor para uso doméstico. É supostamente para suportar telefonia, etc. Semelhante ao OpenWRT, então não tenho certeza se você ficaria feliz com isso.