Você usa o que for útil no momento.
Se você está tentando balancear dois aplicativos uns contra os outros, então você vai querer usar os controles de volume por aplicação, eu os uso quando quero assistir a um filme ao mesmo tempo que jogar um jogo simples e não quero um para abafar completamente o outro.
Quanto ao controle do SO e do alto-falante, use o que for mais fácil no momento. Geralmente deixo o volume do sistema operacional em 50% e deixo o controle de volume do alto-falante / fone de ouvido fazer o limite para um ajuste rápido. Você quer uma saída suficientemente strong da sua placa de som para obter uma boa varredura completa da forma de onda de áudio, mas não tão strong que pareça distorcida. Isso depende muito do seu sistema e da sua preferência pessoal.
Dependendo de quão strong é a saída da sua placa de som, você pode descobrir que, em 100% do controle de volume do SO, o áudio pode ser recorte mas eu não esperaria que isso acontecesse em muitos sistemas modernos.