Isso ocorre por design e provavelmente tem algo a ver com multithreading e com o fato de que todos os dados gráficos terão sido eliminados quando você mudou para a área de trabalho.
Quando você voltar ao jogo, o tópico do jogo principal começa instantaneamente, lendo as teclas, reproduzindo sons, fazendo o seu carro se mover.
O segmento de gráficos, por outro lado, tem um lote de trabalho a ser feito. Ele tem que configurar todo o pipeline de gráficos do zero. As texturas precisam ser carregadas, os programas de sombreamento devem ser compilados e iniciados na GPU, e os vários estágios do shader devem ser pipelinados juntos. Esta atualização levará algum tempo, o maior tempo provavelmente está carregando nas texturas.
Em um único programa encadeado, toda essa configuração teria que ser feita antes que o programa aceitasse qualquer pressionamento de tecla e atrasasse seu tempo para se movimentar, mas em um programa multi-thread essas duas coisas podem acontecer ao mesmo tempo. Obviamente, se um thread estiver pronto antes do outro, você terá esse tipo de comportamento "estranho".
As diferenças entre os modos de tela inteira e janela é que, no modo de tela cheia, o aplicativo assume que tem controle total quando em foco e quando não está em foco, você não quer que ele "sobrecarregue" os recursos. Modos de janela são geralmente para quando você deseja alternar entre o jogo e o Windows rapidamente e não descarregar os dados gráficos. Os modos de janelas são geralmente um pouco mais lentos que a tela cheia, mas não têm nenhum atraso quando o alt-tab é usado para escapar do programa.