Você precisa desativar o serviço do gdm:
service gdm disable
Se gdm é como é chamado (deve ser um script de shell em /etc/init.d ).
Isso significa que você inicializa no console. Para tentar iniciar o X usando seu xinit, use startx .
Você precisa fazer o login antes de fazer isso, é claro. Se você não usa xdm / gdm, então terá que fazer isso no console. Se você quiser que o X inicie automaticamente, você pode tentar adicionar startx ao final de ~/.profile , mas eu recomendo que você simplesmente o digite manualmente.
[Note que este é o método atual para Debian e não necessariamente outras distros.]