O controle de volume no Windows é o mesmo, independentemente do cabo usado para os alto-falantes, já que é a placa de som que está sendo controlada aqui através do sistema operacional.
Você precisa ter certeza de que a placa de som com a saída óptica está selecionada como o dispositivo de reprodução padrão (clique com o botão direito no ícone de volume e vá para Playback devices
para chegar lá). Certifique-se de que nenhum dos outros programas ainda esteja usando a placa com a saída de 3,5 mm (apenas reinicie-os se não puder ouvir nada).
Depois de ter feito isso, você deve ser capaz de controlar o volume de saída óptica regularmente.