Esta é uma duplicata de: Organizar janelas dentro do mesmo aplicativo na barra de tarefas do Windows 7
A resposta listada aqui é instalar o "7 Taskbar Tweaker" aqui: 7Taskbar Tweaker
Eu estava hesitante em instalar algo homebrew como este, mas para minha surpresa - isso realmente funciona!
Você pode reordenar as miniaturas marcando a caixa "Arrastar para reordenar" na seção "Miniaturas" do 7 Taskbar Tweaker. Funciona agora como deveria!
Se você não quiser usar essa abordagem (que requer que o programa seja executado em segundo plano o tempo todo), basta iniciar o Taskbar Tweaker quando precisar e clicar no botão "Taskbar Inspector" e arrastar em torno de instâncias do seu aplicativo dentro do grupo de aplicativos e elas serão movidas em tempo real.