Eles não desligam como tal, mas, assim como os processadores, eles alteram dinamicamente sua velocidade de acordo com a carga de trabalho para minimizar o uso de energia. Uma GPU sem carga real aplicada não usa muita energia em comparação ao seu consumo máximo.
Você pode usar uma ferramenta como o GPU-Z para ver a taxa de clock e olhar para o consumo de energia.