Esta não é uma boa técnica. Baseando-se em malware para se comportar bem, porque pode estar sob o microscópio é um pouco como confiar em gatos para ficar parado porque você disse a eles. É uma ideia interessante, mas que não vale a pena implementar como uma solução anti-malware.
Dito isso, como Marc sugeriu - basta executar o sistema operacional em uma VM ou hipervisor, se você quiser que o malware se comporte como se estivesse em um ambiente virtualizado. O impacto no desempenho é o pequeno preço que você paga por essa tranquilidade aprimorada.
Outro item importante é que há um número razoável de aplicativos de desktop legítimos que não funcionam nas VMs, pois o DRM acredita que eles podem estar em processo de engenharia reversa. O problema de usabilidade disso seria terrível.