Você pode reutilizar as conexões existentes. Use a opção de linha de comando -M ou a opção de configuração (cliente) ControlMaster . Veja esta resposta no StackOverflow para detalhes.
Eu usei isso extensivamente, combinado com ControlPersist para fechar a conexão somente após um atraso. Isso evita o tempo de conexão em que você incorreria e melhora drasticamente o desempenho quando você está fechando e reconectando várias vezes (como faço frequentemente durante o uso interativo).
Observe que ele não funciona muito bem para conectar-se a alguns hosts - GitHub, por exemplo -, portanto, pode ser necessário excluir explicitamente determinados hosts de usar essa opção, se você configurá-lo como seu padrão.