O conector PCI-E de 6 pinos na sua placa gráfica tem a seguinte descrição
#
-----
|o o o|
|+ +|
-----
em que o
é GND e +
é + 12V, ver, e. link
Portanto, nenhuma linha de 5V é necessária e seu adaptador está bem.
Confira este adaptador, onde o fabricante usou cores de fios sensíveis: