Eu vi casos em que a conexão de um novo monitor desloca o monitor principal. Isso pode ser o que está acontecendo.
Isso é redefinido indo para o Painel de controle > Aparência e Personalização > Personalização > Configurações de exibição > Guia Monitorar
"I can plug either monitor into the primary video port and it will work"
Você tentou ⊞ Win + P para estender ou duplicar a saída do monitor?