Se você fechasse esse programa, só fecharia o painel de controle. Os drivers para seu adaptador de vídeo ainda seriam carregados (na verdade, eles são carregados na inicialização, em vez de serem carregados no início do Windows, como o painel de controle da nVidia). Então, fechá-lo não faria nada além de liberar um pouco de memória no seu computador.
Se você fosse descarregar os drivers para o próprio monitor, você veria o Windows voltar ao driver VGA padrão, e você perderia toda a sua aceleração 3D e resoluções mais altas. Mas para fazer isso, você teria que ir sob o gerenciador de dispositivos, onde ele permitirá que você clique em "desinstalar driver para este dispositivo".