Você pode remover os drivers da ATI primeiro, mas não é "obrigatório".
Eu sairia do X então
sudo apt-get remove o fglrx-legacy
sudo mv /etc/Xorg/xorg.conf ~ / #adjust o caminho
Em seguida, reinicie e instale seu novo cartão.
Quando o sistema voltar, você deverá obter uma sessão X básica com suporte 3D limitado. Instale os drivers nvidia como de costume.
Se você não remover os drivers fglrx, ou não mover o arquivo xorg.conf, a pior coisa que pode acontecer é que ele tenta carregar os drivers da ATI e não pode. X falhará ao iniciar e você poderá corrigi-lo no console.