Ok, parece que o problema tinha algo a ver com AllowUsers
em sshd_config
, como quando eu comentei e reiniciei o ssh que estava funcionando, então eu adicionei de volta na parte inferior do arquivo, reiniciei e funcionou , então eu comentei a parte inferior e descomentei a linha original, e reiniciei o ssh e ele ainda funciona.
Então, em conclusão, eu não tenho certeza do que é, talvez o ssh não estivesse reiniciando corretamente.