Faça um loop sobre os arquivos e combine os links simbólicos com um padrão. Isso deve funcionar para links diretos com caminhos absolutos (não algo como ../../something
ou coisas que saltam através de vários links simbólicos).
for f in * ; do
[ -L "$f" ] || continue; # skip anything but symlinks
l=$(readlink "$f") # read the link contents
case "$l" in
/home/myuser/scripts/*) echo rm "$f" ;; # match against a pattern
esac
done