Existe essa pergunta: Quando devo usar uma barra no final de um diretório? e uma das respostas diz:
rmwon't let you remove a symlink to a directory if there's a slash at the end
É como você disse que rm o objeto é um diretório.
rm symlink/ # wrong
rm symlink # right