Você olha as especificações de ambos e vê se o tipo de slot de cartão / barramento é o mesmo, neste caso eles são:
Especificações M5A78L-M / USB3
1 x PCIe x16
Especificações da GTX760-DC2OC-2GD5
PCI Express x16 3.0
Apenas uma observação, isso é facilmente pesquisado no Google .