Jogos cuja janela você pode redimensionar pode ser colocado em uma janela sem borda cheia via:
wmctrl -r ":ACTIVE:" -b toggle,fullscreen
Eu coloco isso em um script e o vinculo a um botão do teclado, para que eu possa facilmente visualizar em tela inteira todas as janelas que permitem redimensionar.
Muitos jogos do outro lado não permitem o redimensionamento da janela. Nesses casos, é mais complicado. Eu documentei algumas soluções ruins em (problema diferente, mas isso é causado pelo mesmo problema subjacente):
Impedir que um jogo em tela cheia seja exibido desabilitando as teclas de controle de volume