Três artigos da Microsoft podem ser aplicados aqui:
Basically what this will do is open any pop-up without size or other restrictions in a new tab, the rest will open in a new window. For users experienced with tabbed browsing this is typically the best option, as it allows most windows to open in tabs, but allows pop-up style windows to open in a new window.
Navegação por guias no Internet Explorer 8: perguntas frequentes
If you opt to let Internet Explorer decide how to display pop-ups, it will display the pop-up in a new window if the pop-up specifies size or display requirements. Otherwise, the pop-up is displayed in a new tab.
Abra as mensagens do OWA em uma nova guia em vez de em uma janela pop-up
The reason that it opens in a new window instead of a new tab is because the pop-up link holds window size information and disables certain browser interface elements such as menus, back/forward buttons, etc… While this does give it a more “application” look and feel, it indeed makes it harder to group all your OWA activity together.
A resposta é provavelmente que a página do Google tem algumas restrições em sua exibição Isso faz com que o IE9 o considere como um "aplicativo" e abra-o em uma nova janela. Como a página do Google contém muita CSS e JavaScript, pode-se entender o IE9 fazendo esse erro, especialmente porque o IE9 não suporta os padrões CSS mais recentes.
O Google, por outro lado, abandonou o suporte para o IE9 em 2013, por isso não faz hoje nenhum esforço para tornar suas páginas compreensíveis pelo IE9. Oficialmente, o Google agora apenas suporta o IE11.