Você pode tentar uma das distribuições obsoletas do MSDOS. Alguns deles são bem pequenos, como a base emtex (mais its fonts ). Desde 1998.
A instalação está documentada no Making TeX Work de Norm Walsh, que é ainda mais obsoleto, a partir de 1994, mas deve ser o suficiente para dizer quais pedaços você pode jogar fora, convenientemente resumidos na seção Making emTeX menor . Ele estima que você pode reduzir a distribuição para 5,5 MB.
Mas esteja avisado: uma distribuição tão pequena não terá itens como o pdftex, o Metapost ou o TikZ, embora já existissem o graphicx e o Pstricks ...
Cortar mais significa cortar fontes: talvez se você usasse a capacidade do Xetex para suportar fontes do sistema operacional, isso ajudaria? Mas eu não acho que o emtex tenha o Xetex ...