Não é um problema excluir links simbólicos. Não sei por que você acha que precisa excluir o arquivo para o qual o link aponta.
Basta apagá-los. Tente isto:
ln -s thing1 thing2 # thing1 does not exist
ln -s thing2 thing1 # circular reference
rm thing1 thing2 # no problem