A NVIDIA tem uma sugestão para essa questão .
A recomendação deles é usar duas GPUs: uma para X e uma para computação. Eles também sugerem a desativação do X, limitando o kernel do CUDA a tempos de execução curtos e desativando o modo interativo no driver da NVIDIA.
Você não diz que está usando uma placa gráfica NVIDIA, mas algumas dessas sugestões podem funcionar para qualquer placa gráfica.
Se a sua placa-mãe tiver gráficos integrados além de uma placa gráfica discreta, você poderá configurar o BIOS para usar os gráficos internos da tela.