Eu tive o mesmo problema. Isso aconteceu por causa da instalação de um kit de ferramentas da nvidia (não tenho certeza). De acordo com este site (que tem ideias úteis) Eu encontrei que a versão do driver cuda no instalador cuda e host era incompatível. (host: 367.57, instalador: 375.26, No começo eu não conseguia verificar a versão do instalador porque todas as versões eram 367.57, mas quando eu reinstalei o cuda pelo arquivo de execução, eu o encontrei)
Então, eu desinstalei o cuda e o nvidia completamente e instale o cuda novamente por esta ajuda . No início, no processo de instalação eu tenho alguns erros que eu encontrei, nvidia não foi completamente. Depois de desinstalar completamente, instalei o cuda e agora posso rodar "sudo nvidia-smi" sem problemas.