Em primeiro lugar, o seu amigo está completamente incorreto, o baixo uso de componentes do computador não os quebra, o uso excessivo o faz. Seu chip gráfico ainda está embutido na placa e ainda recebe energia, então ele não deve sofrer de capacitores mortos ou algo do tipo, então sobrecarregar um componente como seu GPU é muito mais provável que ele seja quebrado lentamente, devido à alta / flutuante Voltagem. É importante, porém, que o hardware deixado sem alimentação por longos períodos de tempo possa se tornar defeituoso, devido a componentes perderem sua magnetidade ou carga.
Em segundo lugar, se você não tem utilidade para instalar sua GPU, não o faça. Ele apenas desperdiçará sua GPU em tarefas domésticas, que a GPU da Intel pode manipular muito bem. Se, no entanto, em algum momento você quiser jogar ou fazer modelagem 3D ou algo semelhante, a instalação da GPU pode ser uma boa ideia.
Se você quiser instalá-lo mesmo assim este guia tem várias maneiras de instalar os drivers, não há também um lá para pessoas não muito familiarizadas com o Linux. :)