O cabeçalho HTTP do host é diferente, portanto, você deve verificar qual é o host virtual padrão em seu servidor e tentar descobrir por que ele está lento. Também sem medidas precisas, o que leva muito tempo, você não será capaz de fazer a pergunta certa. Tente descobrir precisamente o que é lento com alguma ferramenta como essa.