Ah, eu tinha me esquecido da seção Taskbar buttons
das configurações da barra de tarefas. Ele foi definido como Always combine, hide labels
e, claro, estava fazendo exatamente isso.
Eu mudei para Never combine
e agora está funcionando como eu queria.