Você parece estar usando um laptop. Normalmente, depois que os drivers Nvidia são instalados, a GPU Intel é usada por padrão para economizar energia. No entanto, você pode executar qualquer programa com a GPU Nvidia, executando-o com optirun :
optirun ./deviceQuery
ou
sudo optirun ./deviceQuery
embora eu não ache que você precisaria de sudo para amostras de CUDA
Edit: Como apontado por Pilot6 , optirun está disponível através do pacote bumblebee no Ubuntu. Verifique o site do projeto para obter mais detalhes.