Não há como remover verdadeiramente o ponteiro do mouse. O servidor X requer que pelo menos um esteja presente.
Então acabei usando o xdotool para mover o cursor para o canto inferior direito da área de trabalho. Eu o envolvi em scrip chamado "nomouseplease", que eu executo com X start:
xdotool mousemove 10000 10000