Use rsync e passe -u se desejar apenas atualizar arquivos mais recentes no diretório original ou --ignore-existing para ignorar todos os arquivos que já existem no destino.
rsync -au /local/directory/ host:/remote/directory/
rsync -a --ignore-existing /local/directory/ host:/remote/directory/
(Observe o / no lado da origem: sem ele rsync criaria /remote/directory/directory .)