Sim, você precisa dos drivers da Nvidia para instalar o nvidia-prime que desligará o adaptador Nvidia.
Se você não tiver nvidia-prime , ambos os adaptadores consumirão energia e você também terá falhas nos gráficos.
Outra opção é usar um opensource bumblebee , mas não funciona bem nos lançamentos modernos.
Não vejo problema em instalar drivers da Nvidia para essa finalidade.
Você tem os drivers instalados, então continue usando-os.