A página de manual é o lugar para começar. De "man xinit" :
If no specific client program is given on the command line,
xinit
will look for a file in the user's home directory called.xinitrc
to run as a shell script to start up client programs. If no such file exists,xinit
will use the following as a default:xterm -geometry +1+1 -n login -display :0
O servidor X aguardará até que o programa pare antes de desligar. Você certamente pode usar programas diferentes, incluindo aqueles que não abrem uma janela. Mas sem um terminal (ou gerenciador de janelas), o display do X será difícil de usar.
Outras leituras: startx
página de manual.