Os comandos de atalho de teclado IIRC estão sendo executados em um shell sh
, que não possui todos os recursos que o Bash possui.
Seu comando usa alguma sintaxe específica do bash, e é por isso que não funciona. A solução mais simples é simplesmente executá-lo em um shell Bash, substituindo-o por este comando abaixo:
bash -c "wmctrl -s $(wmctrl -d | grep '*' | awk '{print $1+1}')"