É um problema conhecido no VLC. Existe uma questão em aberto para correção (esperançosamente) na próxima versão.
Existe agora uma correção no VLC (conforme descrito no link): Ferramentas - > Preferências (Mostrar Configurações: Todos) Interface - > Interfaces principais - > Qt e Ignore os botões de volume do teclado.