Eu não acho que o que você está tentando fazer é possível (sem trabalho extenso e muito difícil).
O &
não tem relação com o servidor X. É simplesmente um caractere significativo para bash
que diz o seguinte:
Não tem nada a ver com a troca da janela ativa no X, a execução de outros comandos, etc. Ela tem apenas um uso: executar dois comandos ao mesmo tempo.
Com isso em mente, pode ser possível escrever um script que execute um comando especificado, mude a janela ativa de volta para o terminal e aguarde o próximo comando. No entanto, isso está fora do escopo desta questão, já que estamos entrando no script.