Primeiro ... se você está em tela cheia na sua sessão, a tecla do Windows funciona como você esperaria no computador remoto. Então, você está falando se você tem a sessão remota em uma janela, e não em tela cheia.
Mas, se ANTES de pressionar o botão Conectar no Cliente da Área de Trabalho Remota, você clicar no botão Opções e, em seguida, clicar na guia Recursos Locais, poderá decidir onde aplicar as combinações de teclas do Windows. Especificamente, na tela FUll, na máquina local ou na máquina remota. A Microsoft pareceu levar a chave do Windows em consideração específica aqui. Por quê? Por causa do que você mencionou exatamente.
Assim, você define essa opção como Máquina remota e, em seguida, conecta-se. Sempre que você minimizar a janela remota, a tecla do Windows funciona na máquina local como deveria.