Você já tentou instalar uma das iso's do Ubuntu?
Você pode encontrá-los aqui:
Dessa forma, você pode escolher exatamente quais recursos deseja ao instalar. Eu instalei com êxito um desses em um USB que roda em um thin client com apenas 128Mb de RAM (com um blackbox wm)