O que você está vendo é provavelmente perfeitamente normal. Você deve verificar o uso da GPU e a temperatura da GPU com algum software da NVIDIA (provavelmente disponível em seu site). O Ubuntu 14.04 teve um problema com algumas placas NVIDIA GeForce, em que, ao executar a GUI, a GPU funcionava a 100% de uso o tempo todo, e superaqueceria rapidamente, encurtando a vida útil da placa. Isso pode ter sido corrigido em uma atualização em algum lugar, mas é possível que esse problema ainda esteja por aí.
Se o seu monitor principal estiver conectado a essa placa gráfica, você definitivamente usará a GPU. A GPU é apenas mais um termo para o chip na placa gráfica que descobre o que enviar para o monitor, por isso, se você tiver um desktop rodando com a saída do monitor, ele será usado.
Em suma, isso provavelmente é normal, mas seria uma boa idéia verificar isso pelos números.