Isso parece muito com o fato de seu monitor estar se comportando mal ou não estar conectado corretamente. O Windows só deve mover as janelas quando detectar que um monitor está desconectado, mas deve deixá-las em paz se o monitor estiver conectado, mas desligado. Você está matando completamente o poder (isto é, desconectando o monitor)? Qual monitor está se comportando mal (DVI ou DP)?
Edit: Eu imagino que o segundo monitor "desconecta" do computador principal quando ele está varrendo as entradas conectadas por sinais na energização ou algo nesse sentido, que não era mais necessário quando você desconectou o segundo computador. Especulação pura, no entanto.