Se você está em um sistema Linux ou OS X, você pode fazer ssh -v [email protected]
e ver exatamente porque está expirando.
Eu duvido que tenha algo a ver com o IPv6. Provavelmente tem a ver com o seu cliente e como você está alcançando o daemon ssh no lado remoto. Limpe seu cache de DNS e verifique todas as suas configurações.