Você deve verificar as permissões de ~user/.ssh e particularmente o proprietário.
IIRC Se o proprietário for root , user executando restorecon não poderá alterá-lo.
Você também deve editar ~/.ssh/authorizedkeys como ssh-copy-id recomenda e certificar-se de que apenas a chave pública esperada esteja nesse arquivo.
(Se isso não ajudar, poste ls -ld ~user/.ssh e ls -l ~user/.ssh )