Executar o VLC a partir de um terminal com um caminho para um arquivo de vídeo, você deve ver na saída se está usando o VA-API. Por exemplo. aqui está a minha saída:
$ vlc "https://youtu.be/6An_c0FOlew"
VLC media player 2.2.4 Weatherwax (revision 2.2.3-37-g888b7e89)
[000000000094f148] core libvlc: Запуск vlc с интерфейсом по умолчанию. Используйте 'cvlc' для запуска vlc без интерфейса.
[0000000000a5fb28] core playlist: stopping playback
libva info: VA-API version 0.39.2
libva info: va_getDriverName() returns 0
libva info: User requested driver 'r600'
libva info: Trying to open /usr/lib/dri/r600_drv_video.so
libva info: Found init function __vaDriverInit_0_39
libva info: va_openDriver() returns 0
[00007f21bc5f1a28] avcodec decoder: Using mesa gallium vaapi for hardware decoding.
Funcionou para mim fora da caixa, mas caso não seja para você, verifique as configurações do VLC para o renderizador habilitado.