Isso será interrompido se o diretório remoto em questão existir:
if ! ssh user@host "[[ -d /path/to/directory ]]"; then
# do your scp or rsync
else
echo "Remote location is a directory. Aborting." 1&>2
exit 1
fi
Se você quiser transformar isso em uma única linha, então:
ssh user@host "[[ -d /path/to/directory ]]" || <<scp or rsync>>