problema XY à parte, a resposta à sua pergunta ostensiva ("Como Eu rm tudo em [um diretório], exceto pastas e arquivos de link? ") é:
find /path/to/directory -not -type d -and -not -type l -exec rm {} +
Seja muito, muito cuidado com isso. Você provavelmente deseja executá-lo sem a cláusula -exec
antes de executar a coisa completa.