Existe essa pergunta: Quando devo usar uma barra no final de um diretório? e uma das respostas diz:
rm
won't let you remove a symlink to a directory if there's a slash at the end
É como você disse que rm
o objeto é um diretório.
rm symlink/ # wrong
rm symlink # right