Poderia ser tuns de coisas aqui.
Verifique a comunicação entre máquinas.
From Ubuntu ping CentOS IP
$ ping xxxx.xxxx.xxxx.xxxx
Verifique se o SSH está instalado
In CentOS
$ sudo rpm -q openssh
Verifique seu firewall, veja se as conexões SSH são aceitas (porta 22).
In CentOS
$ sudo iptables -L
Verifique se o serviço ssh está sendo executado
In CentOS
$ sudo service sshd status
Verifique a escuta da porta (padrão 22)
IN CentOS
$ sudo netstat -tulpn
Se tudo isso estiver correto, solucione os problemas com os registros. Veja em tempo real o que acontece quando "sshing" para o servidor.
IN CentOS
$ sudo tail -f /var/log/secure
procure seu usuário e | ou endereço IP.
SSH com modo verboso para ver onde está ficando preso.
IN Ubuntu
$ ssh -vvv user@ipaddress