Uma explicação provável é que o servidor tem um firewall que está restringindo as conexões SSH (não é incomum evitar bots incessantemente tentando encontrar uma senha). Se for UFW, use:
ufw status
para listar os valores atuais. Você deveria ver (entre outras coisas):
To Action From
22 LIMIT Anywhere
Você pode levantar a restrição para endereços específicos usando
ufw insert 1 allow in from nnn.nnn.nnn.nnn
Se é iptables
, é a mesma ideia, mas os comandos adequados estão além do meu conhecimento (tenha cuidado para não cercar você do seu servidor).