Eu só posso responder uma parte da sua pergunta.
Eu escrevi um script para alternar entre várias versões do cuDNN. Atualmente suporta v5.1, v6.0 e v7.0. Você pode encontrar o script aqui .
Depois de concluir a instalação e baixar as versões do cuDNN que você deseja usar, você poderá alternar entre v5.1, v6.0 e v7.0 com o clique de um botão.
Isso é o que o script faz:
#!/bin/bash
rm -f /usr/include/cudnn.h
rm -f /usr/lib/x86_64-linux-gnu/*libcudnn*
rm -f /usr/local/cuda-*/lib64/*libcudnn*
cp -P packages/cudnn/include/cudnn.h /usr/include
cp -P packages/cudnn/lib64/libcudnn* /usr/lib/x86_64-linux-gnu/
chmod a+r /usr/lib/x86_64-linux-gnu/libcudnn*
rm -rf packages/cudnn
Realiza as operações de instalação automaticamente para a versão que você precisa.