Você copiou sua chave pública? Dependendo do sistema operacional que você está usando, você provavelmente pode usar:
ssh-copy-id -i .ssh/id_rsa.pub user@remote
Naturalmente, você precisará da senha auth disponível no sistema remoto para fazer isso para que você possa copiar sua chave pública para lá.
Jeff