É difícil sem mais informações, mas dê uma olhada no DNS. (O IE funciona se o problema estiver relacionado ao servidor tentando resolver nomes de host e, em seguida, corrigir esse problema - presumivelmente removendo essa dependência e também garantindo que o DNS funcione rapidamente no servidor).
Uma coisa que ajudaria é fazer um tcpdump no seu tráfego para ver onde esse problema está ocorrendo, e se ele começar a desacelerar, mas depois desce rapidamente o seu provavelmente DNS. (E se ele iniciar rapidamente e depois cair para um rastreamento, pode ser um problema de MTU, mas isso é improvável).
Você também deve fazer algumas transferências de conectividade de e para o servidor (se ainda não tiver) para garantir que não haja um problema de roteamento ou limitação de largura de banda, embora isso seja menos provável.