Para começar, você provavelmente estaria melhor apenas usando alguma outra biblioteca de plotagem, como o matplotlib, que não requer um framebuffer X.
Se você absolutamente precisa usar o pyplot, tente inicializar o Xvfb (um servidor X virtual) no final remoto e aponte a variável $ DISPLAY para ele em vez do display X encaminhado. Dessa forma, ele será executado dentro da tela sem problemas.