Claro que consegui resolver o problema ao digitar a pergunta. :)
O que me ajudou foi ir para o Oracle VM VirtualBox Manager, navegue para Arquivo - > Preferências - > Entre e desative "Auto capture keyboard" (teclado de captura automática).
Eu tenho o Windows 8.1 e instalei o VirtualBox 4.3.14 para rodar o Linux Mint 17 Xfce nele.
Pressionar AltGr no Virtual Linux Mint faz com que seja pressionada a tecla Ctrl até que eu pressione Ctrl novamente para "resetar" isso.
Então, por exemplo, quando eu estou em um editor de texto e pressiono (e libero) AltGr , então pressionar c age como se eu tivesse pressionado Ctrl + c , usando a roda do mouse, aumenta ou diminui o zoom em vez de rolar e assim por diante ...
Por favor, note que alterar a chave Host do VirtualBox (que é por coincidência definida em AltGr por padrão) não faz nenhuma diferença.
Claro que consegui resolver o problema ao digitar a pergunta. :)
O que me ajudou foi ir para o Oracle VM VirtualBox Manager, navegue para Arquivo - > Preferências - > Entre e desative "Auto capture keyboard" (teclado de captura automática).