Eu finalmente resolvi isso:
Eu tinha ativado EnableHexNumpad (conforme descrito em fileformat.info ) para facilitar a entrada de Caracteres Unicode. Aparentemente ter EnableHexNumpad significa que LAlt aparentemente age como AltGr e pressionando RShift + RCtrl pode entrar no " apóstrofo pegajoso "mode.
Desativar EnableHexNumpad faz meu teclado agir como um teclado normal dos EUA novamente.