Eu apostarei dólares em donuts que o problema aqui é com sua configuração de DNS em seu servidor. O SSH tenta reverter o seu nome de host, e se isso for lento, você terá um atraso. (Muitas vezes, o problema é com o primeiro servidor no seu /etc/resolv.conf
, mas também pode haver algo errado com a configuração do DNS do seu sistema cliente.