Vá para o Menu do Office - Opções do Excel - Avançado e desmarque a caixa de seleção ao lado de "Mostrar todas as janelas na barra de tarefas"
Com esta opção marcada, você obtém o comportamento descrito. Com isso desmarcado, você obtém o comportamento desejado. Observe que, se você gosta de ver todas as suas pastas de trabalho separadamente na barra de tarefas, terá que escolher qual "recurso" você gosta melhor.