Olhando para o log /var/log/secure
mostrou que foi simplesmente recusado. Eu sou um pouco novo no centos, já que sou principalmente um tipo debian de cara, então eu não sabia de /var/log/secure
Depois de verificar isso e fazer um pouco de pesquisa, verifica-se que PermitRootLogin no
precisa ser PermitRootLogin without-password
se você quiser usar especificamente apenas as chaves para o login raiz. Isso fez o truque. Obrigado a todos por contribuírem.