Se você acha que a Network é muito rápida, confirme isso com sites como o SpeedTest. Se você está certo, verifique o desempenho do sistema ao qual você está se conectando, ele pode estar sobrecarregado. Além disso, utilitários como ping, traceroute, etc. podem ajudá-lo a verificar o congestionamento, se houver, como sugerido acima por @Jakuje. Você também pode usar o Wireshark para obter uma visão mais realista do que está acontecendo com seus pacotes.