Isso é mais antigo, então tenho que fazer algumas suposições aqui. Afirmou que não funciona fora da rede, mas implica que funciona dentro da rede.
Normalmente, dentro do firewall, você se conectará diretamente aos servidores do ADFS. De fora você está se conectando através de um dispositivo proxy. Provavelmente, uma boa chance do problema ser com qualquer dispositivo proxy que você esteja usando e como você publicou o ADFS.