Não sei por que você não usa o Ubuntu que você já tem, uma vez que parece funcionar, mas você pode encontrar ótimas informações sobre o Linux em USBs no apropriadamente chamado link site.
O clássico sugerido para esse tipo de coisa é Maldito Pequeno Linux . Na verdade, ele tem um gerenciador de janelas (FluxBox), mas é extremamente leve e, bem, muito pequeno.