Para responder à sua pergunta de acompanhamento, se você criar seu par de chaves SSH sem uma senha, não precisará inserir a senha para conectar os servidores.
Você adicionaria o pubkey em .authorized_keys de acordo com este parágrafo:
Key Access Limits
As an optional step to limit usage of the public key for access to any servers, a from statement can be used before public key entries in the ~/.ssh/authorized_keys file on the servers to limit where the client system is permitted to access the server from. Without a from limit, any client system with the appropriate private key data will be able to connect to the server from anywhere. If the keypair should only work when the client system is connecting from a host under example.org, set from="*.example.org" before the public key data.
server$ cat ~/.ssh/authorized_keys from="*.example.org" ssh-rsa AAAAB3NzaC1…
No "de" você colocaria seu (s) endereço (s) IP da interface local. Usando isso, mais uma combinação de usar uma chave ssh sem uma senha (que não é uma prática recomendada, mas para a maioria dos sistemas funcionará bem), irá realizar o que você está procurando.