Sua suposição de que o KVM é um componente passivo está errada. Mesmo com o VGA, o KVM precisa gerenciar corretamente o acesso ao EDID no monitor. As fontes de vídeo não podem ler o monitor EDID simultaneamente. No entanto, os sinais de vídeo são totalmente analógicos, portanto, uma vez que as fontes saibam qual formato enviar, elas podem ser ativadas e desativadas conforme necessário.
DVI (a parte digital) não é apenas um sinal unidirecional, há todo um protocolo que requer sincronização de tempo nos dois lados de um link. Além disso, há HDCP em que as chaves de criptografia precisam ser sincronizadas.
Pode haver algum truque inteligente para redefinir os links toda vez que a fonte de vídeo for trocada, mas acho que a maneira normal de fazer isso é decodificar os dados de vídeo no KVM e recodificá-los para o monitor. Isso significa que os links para o monitor e as fontes de vídeo não precisam ser redefinidos o tempo todo. No entanto, para fazer isso você precisa de um FPGA bastante poderoso (ou ASIC sob medida) para pelo menos manter vários links de entrada e para encaminhar os dados de vídeo corretos para os links de saída.
Além de tudo isso, tenho certeza que há muitos testes para resolver problemas em diferentes dispositivos. Estes são provavelmente amplamente conhecidos pelo VGA, mas não tanto pelo DVI.