Para esse tipo de coisa, é melhor passar pela etapa de reconfiguração do gitlab mencionada nessa documentação:
sudo gitlab-ctl reconfigure
Isso deve atualizar as coisas. Mas antes de fazer isso, você precisará verificar os arquivos de configuração do gitlab em /etc/gitlab
(acredito) para ter certeza de que o nome do host antigo não foi colocado lá.