Tente não encaminhar X ao fazer login com o ssh. Você não deveria precisar disso, não é?
Se você não quiser tirar ForwardX11 true do seu ~/.ssh/config (estou supondo que é onde ele foi definido), você pode tentar adicionar -x à linha de comando.
seq 1000 | parallel -j0 -S server -x echo