O que finalmente acabou corrigindo isso foi definir a identidade do pool de aplicativos RDSWebAccess no IIS que estava executando o aplicativo RDWeb. Eu mudei de ApplicationPoolIdentity para NetworkService e agora sou capaz de ver os aplicativos e ícones.