Faça um ls -ld. do diretório que contém o link físico. Se você possui o diretório (ou tem permissão 'w'), você deve ser capaz de apagá-lo. Se o diretório (ou seja, / tmp) tiver o conjunto 't' (bit pegajoso), você não poderá excluir este link, pois não é o proprietário do arquivo. Da próxima vez use ln -s (um link simbólico). As ACLs também podem impedir a remoção de arquivos.