Parece que você pode ter "Sempre combinar, ocultar rótulos" selecionado, é o padrão, nas opções da barra de tarefas. Eu realmente não gosto disso também.
Solução:
Clique com o botão direito do mouse, abaixo, à esquerda, com o ícone do Windows. Selecione Propriedades. Selecione a aba, barra de tarefas. Botões da barra de tarefas: "Nunca combinar". Clique em OK para concluir.
Nota: Caso contrário, para ver um segundo aplicativo do Excel aberto simultaneamente, você deve clicar e manter pressionada a tarefa do Excel na Barra de tarefas e um menu pop-up com todos os arquivos do Excel abertos rolará para cima em uma lista. Eu não gosto dessa configuração muito, então eu sempre defino "Never Combine" para que eu possa ver cada arquivo na barra de tarefas, aplicativos semelhantes ou não. Alt-Tab não executará o comportamento desejado se as tarefas forem combinadas na barra de tarefas.