Você precisa configurar a opção gitlab_rails['gitlab_shell_ssh_port'] = 2222
com base na porta em que o seu servidor sshd
está sendo executado.
O Gitlab não está executando um servidor ssh separado, se eu estiver certo. Se você executar sshd
na porta padrão, basta trocar para 22
, reiniciar gitlab
e sshd
e tentar novamente na porta padrão.
Se você insistir em concorrer em uma porta diferente, será necessário modifique também o seu sshd_config
e potencialmente outras coisas no seu VPS.