Use um arquivo de chave. Coloque o arquivo de chaves privado no seu cliente e use o ssh-agent para manter o arquivo de chaves carregado na memória, descriptografado. Coloque o arquivo de chave pública em cada um dos sistemas que você deseja acessar.
Use o encaminhamento de autenticação para criar conexões entre vários hosts sem ser solicitado a autenticação.