Bem, eu fiz um pouco de escavação, parece que você pode pegar o estado da alternância de tela cheia usando xprop facilmente.
Antes de executar wmctrl -r '$title' -b toggle,fullscreen , a saída de xprop -name '$title' tem a variável _NET_WM_STATE(ATOM) = undefined. Após a execução, essa variável é a seguinte:
_NET_WM_STATE(ATOM) = _NET_WM_STATE_FULLSCREEN
Usando isso, posso detectar facilmente se a janela já está cheia ou não, então não preciso adivinhar.