A maneira mais fácil é fazer o blacklist e descarregar o módulo do kernel. Você pode ver o módulo atual com o primeiro check-out do número do barramento com sudo lspci |egrep -i (vga|video)
anotando o primeiro campo com o número como 01: 00.0. Então sudo lspci -vs 01:00 |grep modules
exibe o módulo em uso. Para dispositivos habilitados para HDMI, geralmente há um subdispositivo como 01: 00.1, que é o dispositivo de áudio HDMI. Lista negra também.
Adicione ambos os arquivos /etc/modprobe.d/blacklist ou blacklist.conf precedidos pelo comando blacklist. Por exemplo, "blacklist radeon" e "blacklist" snd-hda-intel "etc.
Se você quiser usar o dispositivo, basta adicionar o modprobe [nome do módulo] para ativá-lo.
Se isso não for suficiente ou se você usar o mesmo módulo para o GPU (adaptador integrado ou segundo) que você realmente usa, ligue o que você deseja desativar ao driver pci-stub. A melhor maneira de fazer isso é a partir da linha de comando do kernel na inicialização. Basta adicionar pcistub="pci-stub.ids=..."
seguido pelos códigos vendorID: deviceID que você pode encontrar com lcpci -nns (your bus number from above)
pcistub="pci-stub.ids=1002:6718,1002:aa80"
Se você quiser usar isso depois de vinculá-lo ao pcistub, você pode desvinculá-lo via sysfs e vinculá-lo ao driver de sua escolha ou (mais simples) reiniciar e inicializar sem a linha de comando.
Eu tentaria primeiro se apenas desabilitar o carregamento automático do módulo for suficiente, se estiver disponível.
EDITAR:
É possível que o kernel tente o próximo driver disponível se você colocar uma na lista negra. Se assim for, você pode colocar isso na lista negra, a menos que você precise. Ele ficará sem drivers compatíveis em breve e deixará o dispositivo sem driver e deverá ser desligado (ou pelo menos baixo).
Se estiver aquecendo mesmo sem um driver de kernel em uso, atualize a postagem. Eu ficaria muito interessado em ouvir isso.