Tente pesquisar em controlmaster . Ele abre uma única conexão ssh e permite que as futuras conexões ssh e scp passem pela mesma conexão, portanto, não há necessidade de fornecer a senha novamente ou aguardar a conexão ser aberta.
Aqui está um exemplo de como configurar controlmaster .
Edite seu arquivo .ssh/config para incluir as linhas:
Host hostname
User username
HostName hostname
ControlMaster auto
ControlPath ~/.ssh/%r@%h:%p
Em que hostname e username são substituídos pelas informações apropriadas.