na caixa do servidor, execute o tcpdump na interface de rede. o que isso mostra?
pode haver algum problema na autenticação [por exemplo, pesquisa de ldap / nis no servidor que não responde]?
ps - talvez você não tenha visto este .
editar aparentemente, neste caso, a última foi a solução. aparentemente amêndoas < ~ 2.6.24.5 tem algum bug quando o ipv6 está desabilitado, o que resulta em um atraso de 3 segundos para este caso específico.