Para mim no Windows, estas funcionam perfeitamente bem:
vlc video.mp4 --input-slave=audio.mp3 --audio-track=1
vlc audio.mp3 --input-slave=video.mp4
No entanto, o seu caso é diferente porque você está fazendo streaming, enquanto eu estou usando vlc interativamente, o que funciona perfeitamente bem.
Minha conclusão é que isso é um bug no streaming de vlc ou em um switch ausente não mencionado na documentação (muito provável para um recurso experimental).
Assim, um lugar melhor para denunciá-lo é nos fóruns do vlc .
Se o (s) desenvolvedor (es) estiverem ouvindo, o problema poderá ser reparado, ou algum switch não documentado pode ser sugerido (existem alguns deles). As chances de encontrar um dos desenvolvedores em nosso próprio fórum são pequenas.