Em GPUs, 100% de utilização significa que todos os núcleos estão basicamente executando instruções. Ele está sendo executado com desempenho máximo quando todas essas instruções são operações de adição com multiplicação por fusão: a = a + b * c , o que as GPUs mais atuais podem fazer usando apenas uma única instrução.
Quando você está escrevendo um programa que realiza computação na GPU (usando CUDA ou OpenCL), você distribui o trabalho em uma chamada grade de blocos de threads (terminologia CUDA). Cabe à GPU agendar todos esses threads (em 'warps' de 32 threads) para manter todos os núcleos da GPU ocupados. Eu não sei como você está familiarizado com este assunto, mas isso introdução pode ser uma leitura interessante.
Um exemplo explica como isso se relaciona com a utilização. Digamos que a GPU esteja inativa e você inicie um aplicativo que lança um kernel apenas para um único bloco de encadeamento, mas com cálculos suficientes dentro desse bloco. A GPU agendará o bloco de threads para um dos multiprocessadores de streaming (SMs = grupo de 128 núcleos) na GPU. No caso de, por exemplo, a Nvidia GTX 1080, que possui 20 SMs, isso resultaria em uma utilização de apenas (1/20 * 100%) = 5%.
Dado este conhecimento básico de computação GPU, você pode executá-lo através do Nvidia Visual Profiler (para CUDA aplicativos) ou através do CodeXL para (aplicativos OpenCL) para ver as configurações de thread de qualquer kernel que o aplicativo usa para raciocinar sobre a utilização da GPU. Mas isso não é tudo, essa ferramenta é inestimável para ver exatamente que tipo de operações (e quão eficiente) a GPU está executando.