Sem vergonha da excelente resposta de Chris S a uma pergunta semelhante sobre no Server Fault em relação às especificações do PCI-e:
What should be: The PCIe spec states that all slots start at 1x and neotiate how many lanes they can use. It shouldn't matter who has more, some slots are designed to take larger cards and smaller cards fit in larger slots. Whatever the highest speed both sides can communicate at (both the number of lanes and the clock/version), that is the speed that will be negotiated and used.
What really is: Usually what should happen is what actually happens. But there are quite a few boards (especially enthusiast boards) that do not follow spec. Some motherboards will not use anything but a 16x video card in their first PCIe slot. Others will not auto-negotiate correctly. In server grade hardware these problems are very rare, but it happens.
Basicamente, muitas placas-mãe não seguem a especificação PCI-e ao pé da letra. Eu tive problemas com um controlador RAID 8x. Esta placa-mãe de desktop específica tinha apenas um slot PCI-e x16 e o restante era x4 ou x1; então minha única escolha foi o slot x16. Mas a placa-mãe só aceita placas gráficas naquele slot, então acabamos tendo que substituir essa placa-mãe por uma placa de extremidade maior.
Agora, você não mencionou onde esse hardware está sendo executado. Se estiver sendo executado em um servidor de nome de marca ou tiver uma placa-mãe geral no nível do servidor (pensando no Super Micro, Tyan, etc), isso provavelmente não é o problema.
Mas se isso está rodando em uma placa-mãe Gigabyte ou Asus (ou algo parecido), então sugiro simplesmente tentar outra placa-mãe, pois é totalmente possível que ela apenas permita placas gráficas em slots x16 ou aceite apenas uma estranha combinação de gráficos / outros cartões nos slots.