Sim sudo apt-get install nvidia-340 seria como você muda para o driver Nvidia-340. Basicamente, você está instalando os drivers como software e o driver antigo é desinstalado automaticamente.
Li algumas coisas, mas não consigo uma resposta definitiva.
Então, para confirmar, é
sudo ubuntu-drivers devices
sudo apt-get install nvidia-381
e depois para voltar, seria simplesmente
sudo apt-get install xserver-xorg-video-nouveau
Então, só para esclarecer, para mudar para os drivers de vídeo que você quer, você está basicamente instalando-os em vez de apenas ativá-los?
Sim sudo apt-get install nvidia-340 seria como você muda para o driver Nvidia-340. Basicamente, você está instalando os drivers como software e o driver antigo é desinstalado automaticamente.