Ao escrever sobre este tópico, recomendo ler este documento:
Descreve as conseqüências de deixar a opção ForwardX11
ativada por padrão de uma maneira realmente agradável e prosaica.
Mas, para resumir isso, sim, você deve desativá-lo por padrão e deixá-lo apenas para servidores confiáveis em que você realmente precisa no arquivo ~/.ssh/config
local.
Máquina não confiável é basicamente cada máquina, onde outra pessoa tem acesso root, porque a raiz pode acessar toda a sua sessão local X11, que é basicamente uma coisa que você não quer do servidor no remoto centro de dados ou para máquinas com acesso à Internet que podem ser comprometidas.