Encontrei o mesmo problema ao reproduzir vídeos em tela cheia no VLC. Eu mudou para XORG e o problema não voltou a ocorrer.
2 dias atrás eu atualizei meu Ubuntu de 17.04 para 17.10, todo o processo correu bem e a atualização foi bem sucedida. Mas depois de algumas horas eu toquei um vídeo .mp4 com vlc players o vídeo é reproduzido em tela cheia por 3 a 4 segundos e congela a tela, o áudio continua tocando, mas o vídeo parou e o teclado e o mouse param de responder, a única maneira de obter fora disso é forçar o desligamento do computador e reiniciá-lo. Acontece todas as vezes com o Ubuntu 17.10 nunca ter o problema com 17.04. Como sair dessa sou um fã de vlc.
Encontrei o mesmo problema ao reproduzir vídeos em tela cheia no VLC. Eu mudou para XORG e o problema não voltou a ocorrer.