Sim, você pode modificar os atalhos. Simplesmente, são ícones que você pode modificar suas propriedades para mudar para um ícone de sua preferência.
Aqui estão instruções mais detalhadas se você não estiver familiarizado com a forma de fazer isso; Como personalizar sua barra de tarefas do Windows 7 Ícones para qualquer aplicativo .