Qual servidor de áudio você está usando para reproduzir seu áudio - ALSA (Advanced Linux Sound Architecture) ou Pulseaudio ou OSS? Por padrão, o Ubuntu vem com o Pulseaudio, que é executado pelo ALSA, e você deve usar o Pulseaudio se não tiver feito nenhuma alteração. Caso você tenha o ALSA como seu servidor de áudio padrão ou preferencial em sua placa de som ativa, então, de fato, o ALSA suporta e permite áudio somente em um fluxo específico por vez. Eu mesmo tive muita dificuldade para reproduzir arquivos mp3 em vídeos VLC e html5 simultaneamente na Internet.
Tente fechar todos os outros media players e use apenas o VLC para jogar.
No monitor do sistema, verifique se você está tendo o daemon do Pulseaudio em execução. Se não, então eu acho que você está usando ALSA como o servidor de áudio padrão e você não será capaz de reproduzir áudio ao longo de dois fluxos simultaneamente.
Se você estiver usando o Pulseaudio, você deve ser capaz de reproduzir áudio no VLC junto com o outro programa, e deve indicar que o VLC está ativamente reproduzindo áudio.