Eu não hesitaria em tentar, se estivesse no seu lugar. Não há nenhuma parte do sistema Linux que dependa de drivers priorizados para uma placa de vídeo em detrimento de outra. Na melhor das hipóteses, você vê uma melhora. Na pior das hipóteses, as coisas têm um desempenho pior e você pode simplesmente desinstalar.
Boa sorte para você.