Bem, aqui e aqui é o que eu encontrei na inicialização sem VGA (há mais, google se você estiver interessado). Resumindo: provavelmente o seu BIOS não permitirá inicializar sem o VGA, e mesmo que isso aconteça - nem todos os kernels Linux suportam isso. Se você não quiser pesquisar mais sobre esse caminho, então é melhor usar o underclock ou substituir por um antigo VGA.
Não é possível ajudar com o underclocking, nunca tentei no Linux. Aqui é alguém que tentou fazer isso no Ubuntu, mas pelo que entendi ele teve problemas com mantendo essas configurações entre reinicializações. Além disso, não tenho certeza se é possível carregar o driver nvidia do terminal sem instalar o x.
A maneira mais fácil seria encontrar um antiga placa gráfica baratos no eBay por 2-4 $. Dessa forma, você perderá menos tempo e esforço com esse problema.
A maioria dos VGAs modernos consome bastante energia mesmo em modo inativo. Todo esse calor está apenas sendo ligado. Seu cartão é considerado um "upgrade de solução gráfica integrada com desempenho ~ 50% melhor" , por isso não é o melhor ajuste para um servidor Linux de qualquer maneira.