O primeiro passo que precisa ser tomado é certificar-se de que você tenha uma placa que suporte a configuração do modo kernel. Se você não o fizer, provavelmente ainda terá que executar o X como root. O Ubuntu está olhando para fazer isso e, portanto, tem um pequeno conjunto de instruções aqui: link que eu acho que deve funcionar como um bom começo lugar para a maioria das principais distros.