Este simples liner faz o trabalho bem rápido, requer o GNU find :
find . -xtype l -delete
Um pouco de explicação:
-xtype l testa os links que estão quebrados (é o oposto de -type )
-delete exclui os arquivos diretamente, sem necessidade de incomodar ainda mais com xargs ou -exec