Se você assumir que eles não têm a capacidade de quebrar suas cifras (por padrão, blowfish e RSA), que seus próprios sistemas não são comprometidos e que o software usado não é backdoored, eles só poderiam atacar seu link enganando você para que aceite um certificado falso.
Você pode evitar isso usando uma chave estática (mas isso cria seu próprio conjunto de problemas de distribuição de chaves) ou certifique-se de que eles não possam obter um certificado falso. Se você depender de alguma autoridade de certificação, certifique-se de que a autoridade de certificação não emita certificados falsos ou ignore a autoridade de certificação e ancore sua confiança diretamente nos certificados que você conhece.
Você também deve certificar-se de que seus certificados usem uma função hash robusta (pelo menos sha256), porque se a CA permitir que terceiros solicitem certificados, um terceiro poderá tentar criar um par de certificados de colisão, um legítimo e um spoofing sua identidade e transplante a assinatura de um certificado para outro.
Você ainda precisa ter cuidado com seus comprimentos de chave. Em particular, 1024bits não são mais recomendados para RSA