Não há necessidade de usar trap
aqui.
Você realmente quer que o xinit seja executado SEM um terminal, fazendo com que o SIGINT seja evitado após o CTRL-C.
Execute o servidor X assim:
startx & disown; exit
e edite o arquivo /etc/X11/Xwrapper.config para que um usuário específico possa executar o X.