Não tenho certeza se isso deve ser um comentário ou uma resposta, mas ainda não tenho ideia do que está causando isso.
No final, substituiu o cartão por um Nvidia 560 Ti (cartão equivalente) e tudo funciona bem.
O cartão original foi testado onde o devolvi e eles não conseguiram encontrar nada de errado com ele em sua máquina de teste.
Então, meu palpite é uma combinação de infelicidade da placa-mãe-cartão-bios.