Encontrei a resposta. A maior parte da configuração parece estar em:
/var/opt/gitlab/gitlab-rails/etc
Cujo arquivo config.yml menciona gitlab-ctl, que está disponível em todos os lugares como um comando:
gitlab-ctl stop
Pára o gitlab totalmente.