Se você estiver usando o servidor ubuntu (ou mínimo via net-install) sem o servidor X e qualquer ambiente desktop, então você não deve instalar nenhum driver gráfico (nem o opensource nem o proprietário) como eles têm xserver como dependência link para o driver nouveau). O terminal virtual (console) que o ubuntu usa (acessível com ctrl + alt + F1-F6 em qualquer tipo de ubuntu) não precisa de um servidor X ou drivers gráficos para funcionar.