Então, verifica-se que o servidor aceita apenas um determinado endereço IP (outros servidores). Como descobri que o problema era seguir as etapas abaixo:
Primeiramente, eu vejo o problema no lado do cliente usando -vv
ssh -vv [email protected]
Acontece que não houve problema no lado do cliente, então eu mudei para o lado do servidor.
Para ver o problema no lado do servidor para ssh
vi /var/log/secure
Aqui eu descobri que meu servidor cliente (endereço IP estava sendo negado) e depois de algum googling eu descobri que eu tinha que modificar o arquivo abaixo
sudo vi /etc/security/access.conf
Você encontrará o usuário seguido por endereço IP, por exemplo, myrootuser 10.1.2.3 10.2.3.3
Basta adicionar o novo endereço IP do servidor cliente e você pode ir :)
P.S. você precisa de acesso root ou sudo para modificar este arquivo