O X funciona bem localmente, em uma LAN e em uma WAN.
Mas ele usa a rede, e o X, como todos os protocolos GUI-over-network, é bastante intolerante a alta latência.
Algumas aplicações são menos amigáveis em termos de alta latência do que outras. O Firefox é provavelmente um dos piores criminosos, tanto em termos de quanto está fazendo E em termos de quão pouco esforço os programadores dedicam ao desempenho da rede (ou mesmo da CPU). Compare-o com um xterm, que é muito próximo do outro lado da escala para compatibilidade com a rede.
Dito isso, uso regularmente o Firefox em uma conexão WiFi de 54 Mbps para uma LAN de 100 Mbps, e praticamente não há diferença entre isso e um Firefox local. Claramente, a @Marco tem outros problemas de rede acontecendo se o Firefox estiver demorando 2 minutos para iniciar seu link de 1000Mbps.