Você implantou sua chave ssh em todos os servidores de destino?
Geralmente você tem que colocar sua chave pública no arquivo ~ / .ssh / authorized_keys do servidor de destino para que ele possa reconhecê-lo e ignorar a senha auth.
Em segundo lugar, você tem um agente ssh em execução no seu computador local e carrega sua chave nele? (ssh-agent; ssh-add).