Por padrão, os reprodutores de mídia decodificam o ProLogic e outros formatos compactados, porque, a menos que você tenha uma conexão de baixa largura de banda como o Toslink, a compactação não é necessária (por exemplo, funciona sem compactação HDMI).
Então você precisa (1) dizer ao media player para não decodificá-lo e (2) configurar o Pulseaudio e / ou o ALSA para passagem digital. (Eu teria que procurar os detalhes eu mesmo, mas isso deveria começar).
Também é possível adicionar um coletor de áudio extra que aceite 5.1 ou similar e codifica para que ele voe para o ProLogic, para que você possa usar o Toslink para transferir mais do que estéreo. Obviamente, é melhor usar o ProLogic já codificado na mídia disponível se você o tiver, porque a codificação não é trivial e a mídia adequadamente dominada terá melhor qualidade (embora a real 5.1 seja melhor). Mais uma vez, eu teria que procurar os detalhes no Google.