EPEL é um ótimo repo, veja as informações para instalá-lo em a entrada de FAQ EPEL "howtouse" . Em resumo, você executaria:
rpm -Uvh http://download.fedora.redhat.com/pub/epel/5/i386/epel-release-5-4.noarch.rpm
yum update
yum install git
Observe que o EPEL inclui "git".
Eu também uso o Ubuntu, e eu diria que uma caixa do CentOS com EPEL é bastante comparável ao Ubuntu com o Universe para uso do servidor.