Vá com o Lubuntu 14.04. Ele é suportado até abril de 2019. Tenho RAM 3G em um laptop HP antigo com um processador AMD Turion T-58. É um pouco lento no Unity Desktop, mas ainda é viável.
A atualização de RAM aumentará a capacidade de resposta reduzindo a troca de memória em disco.
Se você só precisa de um servidor, ele funcionará bem.