Encontrei este tópico nos fóruns da comunidade freescale intitulados: Rede lenta no SABRE iMX6Q . O encadeamento sugeriu tentar o seguinte:
(adding "enable_wait_mode=off" in the bootargs of U-boot)
Esse segmento também fez referência a outro intitulado: latências de Ethernet catastrófica do i.MX6Q SabreSD , que soam exatamente como as problema que você está tendo. Várias pessoas no segundo segmento relataram que isso corrigiu o problema de latência, portanto, espero que funcione para você também.