Você precisa configurar a opção gitlab_rails['gitlab_shell_ssh_port'] = 2222 com base na porta em que o seu servidor sshd está sendo executado.
O Gitlab não está executando um servidor ssh separado, se eu estiver certo. Se você executar sshd na porta padrão, basta trocar para 22 , reiniciar gitlab e sshd e tentar novamente na porta padrão.
Se você insistir em concorrer em uma porta diferente, será necessário modifique também o seu sshd_config e potencialmente outras coisas no seu VPS.