Eu recomendaria Lubuntu e Xubuntu, estas são as versões mais leves do Ubuntu.
Link para seus sites, onde você pode baixá-los:
E Aqui você pode encontrar um tutorial para instalá-los (assim como o Ubuntu).
Você pode, por favor, dizer qual versão do ubuntu é adequada para o Intel (R) Pentium (R) 4 CPU 2.80 GHz, 2.79 GHz, 504 MB de RAM computador.