Tome uma xícara de chá.
Mas, falando sério, é tudo o que você quer fazer e você nem precisa fazer isso antes de rasgá-lo.
Qualquer problema com a configuração antiga pode ser resolvido rapidamente quando a nova placa gráfica estiver em uso. Se você tiver problemas,
- Chegue a um terminal de qualquer maneira que puder (faça o login se inicializar no terminal, ou tente um TTY através de Controle Alt F1 , ou se tudo mais falhar, mantenha o shift na reinicialização e entre no console de recuperação.
- Remover pacotes de drivers antigos
- Armar
/etc/X11/xorg.conf
da órbita inferior.
Estas são coisas que você pode fazer antes de mudar, mas isso faz pouca diferença.