As configurações padrão do ssh contribuem para uma conexão bastante lenta. Tente o seguinte:
ssh -YC4c arcfour,blowfish-cbc user@hostname firefox -no-remote
As opções usadas são:
-Y Enables trusted X11 forwarding. Trusted X11 forwardings are not
subjected to the X11 SECURITY extension controls.
-C Requests compression of all data (including stdin, stdout,
stderr, and data for forwarded X11 and TCP connections). The
compression algorithm is the same used by gzip(1), and the
“level” can be controlled by the CompressionLevel option for pro‐
tocol version 1. Compression is desirable on modem lines and
other slow connections, but will only slow down things on fast
networks. The default value can be set on a host-by-host basis
in the configuration files; see the Compression option.
-4 Forces ssh to use IPv4 addresses only.
-c cipher_spec
Selects the cipher specification for encrypting the session.
For protocol version 2, cipher_spec is a comma-separated list of
ciphers listed in order of preference. See the Ciphers keyword
in ssh_config(5) for more information.
O ponto principal aqui é usar um cifra de criptografia diferente, neste caso arcfour que é mais rápido que o padrão, e para compactar os dados que estão sendo transferidos.
NOTA: Estou muito, muito longe de ser um especialista nisso. O comando acima é o que eu uso depois de encontrá-lo em um blog em algum lugar e notei uma grande melhoria na velocidade. Tenho certeza de que os vários comentaristas abaixo sabem do que estão falando e que esses cifrões de criptografia podem não ser os melhores. É muito provável que o único bit dessa resposta que seja realmente relevante seja usar a opção -C
para compactar os dados que estão sendo transferidos.