O servidor não está rodando o sshd (e portanto não está escutando na porta 22) ou tem uma porta de bloqueio do firewall 22 (a porta ssh padrão), ou em casos incrivelmente raros rodando o ssh em alguma outra porta (o que certamente não é o caso).
Primeiro, verifique se o sshd está instalado (usando exemplos do Debian)
sudo apt-get install openssh-server
E, em caso afirmativo, está em execução:
ps -ef | grep sshd
verifique então se está escutando a porta 22
sudo netstat -nlp | grep :22
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 946/sshd
tcp6 0 0 :::22 :::* LISTEN 946/sshd
verifique suas regras de firewall (isso varia significativamente, então mostrarei um exemplo de debian / ubuntu / etc):
sudo ufw status
sudo ufw show listening
tcp:
22 * (sshd)
24224 * (ruby)
tcp6:
22 * (sshd)
8080 * (java)
udp:
123 10.X.Y.Z (ntpd)
123 * (ntpd)
18649 * (dhclient)
24224 * (ruby)
34131 * (ruby)
60001 10.87.43.24 (mosh-server)
68 * (dhclient)
udp6:
123 fe80::1031:AAAA:BBBB:CCCC (ntpd)
123 * (ntpd)
48573 * (dhclient)
Se ufw
mostrar como fechado, execute (novamente um exemplo de debian / ubuntu)
sudo ufw allow 22