Você pode instalar o software de captura de tela (junto com o que você precisa para tirar screenshots) dentro de uma máquina virtual, usando um programa gratuito como Virtualbox ou VMWare Player.
Você poderia, então, executar seus outros aplicativos normalmente, fora da máquina virtual, e o software de captura de tela não conseguiria acessá-los. Isso funciona muito bem com uma configuração de vários monitores como a que você descreve, já que você pode ter o sistema operacional virtualizado em um monitor e o SO normal no outro.