Eu suspeito que você tenha uma senha na chave privada ssh , e que o agente ssh esteja rodando em algum lugar.
Quando a primeira conexão é feita, e não há nada no ssh-agent, ele lhe perguntará a senha de descriptografia da chave privada. Uma vez digitada, ela será adicionada ao ssh-agent e, em seguida, (nas conexões subsequentes até que seja limpa), use a chave do agente ssh.