O que você está vendo o comportamento pretendido. A partir do Vista, o Desktop Window Manager (DWM) desenha a área de trabalho e todas as janelas em uma superfície do Direct3D. Aplicativos de tela cheia, como jogos, são direcionados diretamente para a tela, ignorando o DWM.
Então, quando você muda para o jogo, o DWM libera o controle da tela enquanto a janela está sendo renderizada e, assim, você vê esse comportamento. Também é ótimo para o desempenho.