Com base no que você descreve, acho que sua máquina local não tem um daemon SSH em execução.
Você pode verificar isso com:
service sshd status
no RHEL 5 ou 6 e
systemctl status sshd
no RHEL 7.
Se você quiser que a máquina remota possa se conectar de volta, você precisa iniciar (e opcionalmente configurar) o daemon SSHD na máquina local.