Eu encontrei a causa deste problema.
A porta 443 foi fechada na configuração do meu firewall. Funcionou às vezes porque meu IP foi adicionado ao firewall como um seguro. É por isso que não funcionou para outros IPs.
Tudo o que eu tive que fazer é abrir a porta 443 no firewall e funciona muito bem:)