Você pode ativar o compartilhamento de conexão. Você manteria uma única conexão aberta (por exemplo, usá-la para trabalhar no site remoto) e usar essa mesma conexão para copiar com scp
.
Para ativá-lo, você precisa do seu ~/.ssh/config
Host *
ControlMaster auto
ControlPath ~/.ssh/master-%r@%h:%p
ControlPath
é o caminho para o soquete para a conexão compartilhada. O exemplo acima cria um nome dinâmico a partir do login e hostname.