Supondo que a chave pública foi copiada corretamente para o servidor de destino, você precisará garantir que o daemon do SSH suporte o login sem senha. Essa configuração está definida no arquivo /etc/ssh/sshd_config
e você precisa verificar se os seguintes valores estão definidos:
PermitRootLogin yes
RSAAuthentication yes
PubkeyAuthentication yes
Se esses valores não estiverem definidos, você precisará defini-los e, em seguida, reiniciar o SSH com sudo service ssh restart
em um terminal.