Se você não quiser usar a GUI, instalar a versão do servidor é a melhor opção, pois ela só instalará os arquivos necessários.
Se você quiser usar a GUI ocasionalmente, a resposta de Jo-Erlend Schinstad, a desinstalação do * gdm é uma ótima solução.
Se, por algum motivo, você não quiser desinstalar o gdm, poderá impedir que ele seja executado na inicialização, editando seu arquivo /etc/init/ligthdm.conf ou o arquivo equivalente, se estiver usando outro dm. Basta mudar a linha que diz:
start on ((filesystem
and runlevel [!06]
...
para:
start on ((filesystem
and runlevel [!0123456]
...
Esta condição nunca será cumprida (o computador está sempre em um desses níveis de execução) e nunca será iniciado.