Não tenho certeza do que acabou se tornando diferente, mas instalei o driver NVIDIA 381.22 e o problema desapareceu.
Eu instalei o Ubuntu Server 16.04.2 em uma máquina GPU. Eu não quero instalar nenhuma GUI nesta máquina, então eu instalei manualmente o driver NVIDIA (375.66) e o kit de ferramentas CUDA usando arquivos binários executáveis baixados do site da NVIDIA ao invés do APT.
No entanto, parece que o kit de ferramentas CUDA tenta iniciar o X toda vez que é inicializado. Isso faz com que nvidia-smi ou outro aplicativo CUDA tenha um atraso de 5 a 10 segundos.
Eu olhei para nvidia-xconfig manual, mas não consegui encontrar como desabilitar completamente o X. Como posso fazer com que o kit de ferramentas NVIDIA NÃO tente iniciar o X?
Não tenho certeza do que acabou se tornando diferente, mas instalei o driver NVIDIA 381.22 e o problema desapareceu.