Eu uso o par de chaves com senha para a conexão do host no ssh. É possível especificar este passpharase em ssh_config no cliente?
Não está no arquivo ssh_config , mas tente com o comando ssh-agent .
ssh_config
ssh-agent
Tags ssh key-authentication