Use rsync . O SCP tem uma sobrecarga maior.
Pense também em compartilhar conexões usando ControlMaster . Se você transferisse esse único arquivo a cada 5 segundos, a maior parte do tempo passaria a iniciar a conexão, em vez de transferir arquivos.