Isso porque você tem um teclado no qual '
~
"
está definido como configuração de chave inativa.
O comportamento de uma chave morta é ... bem ... estar morto! Portanto, nenhuma reação quando você pressiona. Então você pode atribuir um comportamento diferente no próximo toque de tecla, como acentuação, ou exibir qualquer tipo de personagem para o qual você o programou. E geralmente, quando um pressionamento de tecla não tem significado após uma chave morta, você tem um comportamento padrão que é exibir o caractere da chave morta. E, claro, o próximo caractere aparece também porque está no buffer.
Para que você possa seguir os conselhos de outro pôster sobre como alterar o teclado (veja em qual KB você configurou). Você também pode obter o Microsoft Keyboard Layout Creator para mapear um novo teclado e ver como você pode programar chaves mortas.