Não, isso não deve ser um problema. Afinal, é exatamente esse o propósito de um comutador KVM.
O comutador KVM (que está funcionando corretamente) deve carregar corretamente todas as conexões do PC para que nada de ruim aconteça.
Observação: usei KVMs alimentados externamente com uma parede e alimentados pelos PCs conectados (a energia das portas do teclado e do mouse). Os switches KVM alimentados por PC têm um cabo a menos, mas os com alimentação externa parecem operar de forma mais consistente. YMMV