Este é um problema com o módulo de saída do vlc, você precisa escolher um que funcione com seu ambiente de servidor X / desktop. Abra as preferências da vlc e altere seu módulo de saída:
O específico que você precisa usar dependerá do seu sistema, tente X11 video output
e, se isso não funcionar, tente os outros até encontrar um que o faça.