O que eu descobri foi que, se eu escolhesse o clique com o botão direito do mouse, abrir o local do arquivo no ícone, ele me levava ao local onde os ícones de atalho são mantidos.
Na minha instalação do Windows 8.1, estava em
C:\Users*MYUSERLOGINID*\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\
pasta, onde MYUSERLOGINID é o meu ID de login do usuário real.
Depois de excluir as pastas com os nomes dos programas antigos, os ícones desapareceram.