Graças ao anser do Ultrasonic, eu realmente encontrei a opção em Properties >> Shortcut >> Advanced
, nenhuma guia de compatibilidade está mostrando para mim.
No entanto, isso não mudou nada, mas eu procurei onde está a pasta Icon e encontrei isso
%APPDATA%\Microsoft\Internet Explorer\Quick Launch\User Pinned\TaskBar
(Válido no Windows 10) e alterei as propriedades lá, o que alcançou o resultado que eu queria.