Parece algum problema com o driver da placa gráfica, o barramento ou a própria placa gráfica.
A placa gráfica funciona como uma impressora, se você tentar enviar um texto bruto para ela ou qualquer dado que não corresponda ao seu protocolo, ela imprimirá esses dados na tela como texto. Parece-me que você está experimentando algo assim.
Tente atualizar os drivers e limpe os contatos nos slots PCI Express com uma borracha macia e veja se isso ajuda.
Verifique se a sua PSU é suficiente para alimentar esta placa gráfica. Eles são bastante exigentes e, se o PSU não puder alimentá-los adequadamente, você terá problemas.
Se o problema persistir, o cartão pode estar com defeito. Tente outro cartão, se tiver um disponível, ou tente seu cartão em outro computador para determinar onde está o problema.