Depois de vários ajustes, descobri uma possível solução (não tive mais falhas).
Meus drivers VIA também instalam alguns arquivos que são de propriedade da Creative, e eu, em uma tentativa de me livrar de qualquer coisa inútil do meu computador, desativei muitos serviços, entre eles havia o "Creative Audio Engine Licensing Service" , então eu reabilitei e comecei e agora está tudo bem.
TL; DR: Certifique-se de que até mesmo os menores serviços que têm qualquer coisa façam com seu áudio, áudio do Windows, drivers, bibliotecas de áudio de terceiros e estejam habilitados.
Ainda outra complicação habilitada pelo DRM?
Atualização: ainda tenho algumas falhas de serviço de áudio depois disso, mas com muito menos frequência. Parece corrigido agora que atualizei para o Windows 10 e deixei o Windows Update cuidar dos drivers de áudio.