As modificações necessárias para encontrar executáveis e bibliotecas são para o LD_LIBRARY_PATH e a variável PATH. Como as modificações são semelhantes na primeira parte, defina essa parte como CUDA_HOME.
export CUDA_HOME=/usr/local/cuda
ou onde quer que você tenha instalado Então, para as bibliotecas:
export LD_LIBRARY_PATH=${CUDA_HOME}/lib64
e os executáveis como nvcc:
export PATH=${CUDA_HOME}/bin:${PATH}