Você está procurando, em capacidade, pelo Ubuntu Server , mas não é < 100MB; é aproximadamente 600MB.
Um Debian Netinst (mínimo) é ~ 200MB para amd64.
Você pode tentar ver alguns dos sistemas mais incomuns como o Slackware, o Arch ou o Gentoo para esse tipo de personalização.