Eu não acho que os atalhos de teclado tenham passado pelo bash, então ||
não funcionará. No entanto, você pode fazer isso:
sh -c 'wmctrl -Fxa gnome-calculator.Gnome-calculator || gnome-calculator'
-F
significa corresponder ao título completo com distinção entre maiúsculas e minúsculas, e -a
significa ativar / concentrar o referido programa, -x
significa selecionar pelo nome "WM_CLASS" que você pode obter executando wmctrl -xl
.