Não, não há como comer seu bolo e mantê-lo também: é uma configuração de tudo ou nada no Windows 10.
O que fiz foi desativá-lo totalmente no Windows 10:
- Ainda vejo a bola vermelha ou azul no próprio ícone da folga e posso ouvir o som da notificação de folga
- Meu telefone ainda me irrita e mostra a mensagem se eu não a ler em um minuto.
¯ \ _ (ツ) _ / ¯