Você pode primeiro pressionar a tecla de retorno enquanto segura o ALT para enfatizar a janela no seletor e, em seguida, pressionar F4 novamente, mantendo pressionada a tecla ALT para fechar a janela selecionada.
Você não pode fechar uma janela enquanto alterna com ALT + TAB porque mostra um grupo de janelas e não apenas uma janela.