Quando a encaminhamento do agente ssh estiver habilitada no cliente ( ForwardAgent yes on ~/.ssh/config ) e também estiver habilitada no servidor remoto AllowAgentForwarding yes , ao efetuar logon no servidor remoto, a variável de ambiente SSH_AUTH_SOCK deverá existir. Então, se você se conectar a outro servidor (sua chave pública deve residir neste terceiro servidor), você não deverá receber uma senha.
Para esclarecer:
home$ ssh-add
Enter passphrase ...
Identity added ...
$ ssh hostA
hostA$ env | grep SSH_AUTH_SOCK
SSH_AUTH_SOCK=/tmp/...
$ ssh hostB
hostB$