Você deve verificar outros sites o mais próximo possível do seu site, portanto, com a mesma empresa de hospedagem ou no mesmo servidor, se for hospedagem compartilhada ou VPS. Esses sites abrem rapidamente? Verifique também uma resposta de ping.
Se outros sites no host também forem lentos, mas outras partes da intranet forem rápidas, diagnostique a conectividade de rede com traceroute (matts)
Se for apenas o seu site nesse host, verifique se ele é carregado rapidamente de outros locais ao mesmo tempo em que está carregando lentamente para você. Faça isso no telefone com o amigo, ou melhor, enquanto conectado remotamente a outra máquina usando VNC ou similar.
Se realmente é apenas esse site que é só um pouco para você, verifique se você está realmente se conectando ao mesmo site. talvez você tenha alterado seu arquivo host em desenvolvimento. Existe um ótimo plugin para o firefox chamado showip que mostra o ip que você está realmente conectado.
Se nada disso aproximar você da solução, atualize sua pergunta com os detalhes do que você fez.