Sim, você precisa dos drivers da Nvidia para instalar o nvidia-prime
que desligará o adaptador Nvidia.
Se você não tiver nvidia-prime
, ambos os adaptadores consumirão energia e você também terá falhas nos gráficos.
Outra opção é usar um opensource bumblebee
, mas não funciona bem nos lançamentos modernos.
Não vejo problema em instalar drivers da Nvidia para essa finalidade.
Você tem os drivers instalados, então continue usando-os.