Parece que o problema está limitado ao Internet Explorer. Algumas versões do IE aparentemente mudaram as coisas, de modo que o método “Alt + hex” funciona somente quando dígitos hexadecimais são digitados no teclado numérico. Isso torna impossível usá-lo para um caractere com uma letra em seu número Unicode em hexadecimal.
Existem várias soluções para caracteres como sobrescrito 2, "²". Por exemplo, você pode usar o número decimal com o prefixo 0: Alt 0178, desde que o idioma de entrada seja o inglês. No caso geral, no entanto, temo que você precise de uma solução alternativa, como digitar o caractere em outro programa e usar copuy & colar.
O "Alt hex +" é antigo no Windows, mas está muito mal documentado, aparentemente sem documentação pública da Microsoft, mas descrito, por exemplo, em Como inserir caracteres Unicode no Microsoft Windows em FileFormat.info. Normalmente, você pode usar tanto dígitos numéricos como dígitos do teclado normal. Mas isso foi quebrado, provavelmente não intencionalmente, em alguma versão do IE (IE 10?).