Seu primeiro passo deve ser o ping no site e ver se você tem baixa latência (100ms ou mais), se a latência for o problema, execute tracert e veja se há um salto em particular onde você está ficando retido. Se você encontrar o salto que está lhe dando problemas, agora você tem munição quando ligar para o ISP. Se isso ainda funcionar bem, tente navegar para o IP que o site resolve, isso excluirá quaisquer problemas de DNS, já que você está contatando o servidor diretamente.