O mais provável é que seja um problema de voltagem. O overclock de um cartão resultará em um maior consumo de energia (temperatura mais alta) e, como o cartão não é construído para isso, em algum momento ele não conseguirá manter o nível de voltagem e ele cairá, deixando falhas gráficas.
Normalmente, isso não deve danificar o cartão ... mas eu não apostaria nele.
Se você quiser fazer um overclock ainda maior, você terá que fazer um pouco de solda para aumentar a voltagem dentro do cartão.