Você está usando os drivers nvidia proprietários (caso contrário, CUDA não funciona de qualquer maneira, eu acho)? Nesse caso, você pode executar o comando nvidia-smi
em um terminal:
nvidia-smi -a
Isto dá a você - entre outras informações - a utilização da GPU em%.