Uma maneira de instalar o Ubuntu seria usar a instalação de rede e o TFTP. Você precisará configurar um servidor TFTP em outro computador na rede e configurar o PC antigo para inicializar a partir da rede. Existe um guia que descreve os passos necessários aqui .
Se o computador não suportar a inicialização pela rede, você poderá tentar inicializar a partir do disquete. A idéia é instalar o GRUB no disquete e usá-lo para executar a instalação.
Se você puder conectar o disco rígido a outro computador, então este guia que pode ajudar. A ideia é fazer partições e copiar arquivos de instalação para o disco rígido em outro computador e, em seguida, usar o disquete para inicializar os arquivos de instalação.
Se você não puder, existem guias para instalar o Ubuntu usando disquetes aqui , este guia explica como instalar o Ubuntu usando disquetes fazendo com que o disquete de boot mínimo faça o download de dados da Internet.
Alguns dos guias são um pouco antigos, então você pode ter que instalar uma versão mais antiga do Ubuntu e depois atualizar, ou tentar a sorte experimentando novas versões.