Eu seguiria assim:
Tente removê-lo sem mais opções: sudo apt-get remove rabbitmq-server
Veja se isso funciona, se não, provavelmente, uma nova mensagem de erro surge.
Se o script de desinstalação espera que o servidor esteja em execução, pode ser útil iniciá-lo antes de executar o comando. Se não puder mais ser iniciado, tentarei hackear o script para retornar um código de saída de 0
para enganar o script.
Depois que algo funcionou, eu faria a opção --purge
e, em seguida, autoremove
.