A placa-mãe tem um chip gráfico integrado?
Se isso acontecer, essa é a primeira coisa a tentar. Remova a 9800GT completamente (com uma placa que pode desativar os gráficos internos), conecte o monitor na saída VGA da placa-mãe e veja se você consegue uma foto.
Se você não fizer isso, isso indica que a placa-mãe está morta.
Se fizer isso, você poderá verificar se a máquina ainda funciona.
Verifique se você tem os drivers 9800GT. Coloque o cartão de volta e verifique se ele está encaixado corretamente. Se ainda não funcionar, você pode verificar a placa em outra máquina? Se isso não funcionar, então as cartas estão com defeito. Como é novo, você deve ser capaz de enviá-lo de volta para uma substituição. Na verdade, se você comprou localmente, pode valer a pena levá-lo de volta de qualquer maneira e pedir-lhes para verificar novamente que está tudo bem.
Atualizar
Você precisa verificar novamente se os drivers 8600GT antigos funcionarão com a 9800GT. Se não forem compatíveis, isso pode explicar a falta de gráficos. Nesse caso, você precisa instalar um 8600GT e desinstalar os drivers de exibição & use os drivers VGA do Windows. Em seguida, instale a 9800GT, que deve funcionar na resolução VGA. Você pode então instalar os drivers da 9800GT.
Se eles são compatíveis, então o problema está em outro lugar.