Da máquina remota você é capaz de ssh para outras máquinas e localhost sem senha? Se não, você pode não ter copiado sua chave privada. Seus sistemas estão executando algo como o SELinux ou o AppArmor? Para o SELinux você pode executar 'setenforce 0' para desativá-lo para que possa testar.