Este é um problema direto com um aplicativo. Se você não encontrar nenhum outro relatório sobre esse problema, tente entrar em contato com o suporte do aplicativo (fóruns, relatórios de bugs, IRC, etc.)
Neste caso especial, pode ser um problema na vlc ou no Xorg ou nos drivers da placa gráfica. Se ele é poderoso o suficiente para bloquear a máquina, eu suspeito que os drivers falham. Como isso é antigo, provavelmente já está resolvido, já que tanto os drivers de placa gráfica de código aberto quanto os de código aberto melhoraram muito nos últimos anos ... mas de qualquer forma, a regra "atualizar os drivers da GPU" ainda se aplica