Você não pode obter surround 5.1 através de SPDIF como suporte apenas na codificação PCM, e PCM suporta apenas estéreo até 24bit / 192khz.
Suporte a codificação AC3 e DTS surround, este post deve resolver seu problema (teoricamente), como em instala um plugin AC3 que deve permitir que você jogue 5.1 surround através de SPDIF.
Em muitos casos, é necessário manter sempre o pavucontrol em funcionamento. É isso mesmo - só não feche isso.
Selecione uma das duas opções de perfil do Digital Surround 5.1 (uma inclui entrada analógica) na seção de áudio integrada na guia de configuração do pavucontrol e NÃO FECHE esse aplicativo, você terá acesso ao áudio 5.1 em todos os outros programas .
Se você fechá-lo, você não receberá o som surround.
Uma última dica, não use o youtube para testes de surround, ele não suporta, use este link, você baixará um arquivo de vídeo de teste que funciona muito bem.