A combinação Alt + rightclick não funcionou porque eu tinha definido a tecla leftAlt para alternar entre os meus teclados (isso eu tinha feito nas opções de layout do teclado).
Tendo desabilitado essa opção, eu normalmente conseguia usar a combinação Alt + rightclick para remover os ícones indesejados.