De sua pergunta eu entendo que ambos os monitores têm duas entradas. Eu sugeriria um conjunto de cabos para o laptop e o desktop. Seria necessário pressionar dois botões um em cada monitor, mas ele alcançaria o desejado ou muito barato se você precisasse de novos cabos / um adaptador de vídeo USB. Então eu sairia e pegaria Synergy. É mais ou menos um software KVM para o mouse e teclado, tornar seu desktop o servidor e seu laptop o cliente. Linus tem um vídeo maravilhoso aqui ( link ).
Dessa forma, ao trazer seu laptop para o cenário, pressione dois botões. O Synergy deve se conectar automaticamente ou você pode configurá-lo para ser manual (até você) e pronto. E contanto que você não bata nos cantos quentes, você deve poder alternar livremente em segundos.
Nota Eu não estou de forma alguma a anunciar o Linus, o canal dele ou o Synergy.