Use o CD mínimo do Ubuntu para instalar um sistema básico.
Ele conterá o kernel do Linux, as ferramentas básicas do Linux e o sistema APT do Debian para instalar quaisquer outros pacotes que você possa precisar manualmente.
O ISO baixado para 11.10 é de 23MB e após a instalação (no meu sistema) ocupou cerca de 600MB (o restante dos pacotes para instalação do sistema é baixado através de uma conexão de rede).
Você poderá escolher os pacotes que desejar durante a instalação ou após a reinicialização do seu sistema, você pode instalar qualquer coisa individualmente com apt-get
ou escolhendo pacotes digitando sudo tasksel
.