rsync é o utilitário padrão para isso:
rsync -avz -e ssh source/ user@destServer:/dest/
- a Para arquivar, mantém permissões, tipo selos, etc.
- v para verboso
- e ssh, use sobre ssh
- z para compactação, se você quiser. Ele não tentará compactar novamente os arquivos compactados (zip).
O rsync geralmente vem com distribuições Linux. Ele também atende à sua exigência de não transferir coisas que não foram alteradas.