Bem, uma maneira que eu vejo para fazer isso é que a tarefa termine em um feriado, então tenha uma segunda tarefa começando no próximo dia útil e terminando essa tarefa no próximo feriado. Enxaguar e repetir por feriado.
As versões mais recentes do agendador de tarefas parecem permitir que você codifique eventos juntos, mas não vejo nenhuma opção não para executar uma tarefa em um dia específico.