Algumas coisas que você pode verificar:
Se você estiver usando a diretiva AllowUsers, verifique se o IP / hostname corresponde ao que está definido em sshd_config.
Se você estiver usando nomes de host em vez de endereços IP com a diretiva AllowUsers, verifique se o nome do host é invertido corretamente.