usando find
para encontrar o symlink e, em seguida, usando readlink
para obter o caminho completo para o destino em rm
:
find ~/Desktop/ -type l -name 'test.txt' -exec bash -c 'rm "$(readlink -f "")"' _ {} \;
Ou como você já sabe o nome do link:
rm "$(readlink -f ~/Desktop/test.txt)"