O servidor Ubuntu está bem. As diferenças com a edição de desktop estão no kernel (opções diferentes, mas mesmas fontes) e falta de gui.
Versão: use 13.04 - os * .04 são LTS (suporte a longo prazo), portanto, serão viáveis por muito mais tempo que os outros lançamentos.
Controle de versão:
- O GIT é distribuído e você não pode dizer que existe um servidor central, embora geralmente exista um local central para colocar releases / branches determinados como úteis. Olhe para o gitolito. Vai poupar muito tempo.
- O SVN tem um daemon chamado svnserve e há alguns guias sobre como usá-los e abusá-los, portanto, isso não deve ser um problema. Para o SVN, eu recomendo o Trac (já que ele também oferece gerenciamento de projetos, emissão de bilhetes, lançamentos, wiki e outras coisas boas).
Não ter nenhum gui não é um problema, apenas um pequeno desafio para motivar você a aprender um pouco sobre a linha de comando.