Eu o instalei em mais de 60 VMs simultâneas em execução do Windows XP no VirtualBox, para aulas de ciência da computação. VS não foi muito usado, principalmente netbeans foi usado, mas isso foi porque a maioria dos cursos eram java não .NET.
Dito isto, correu bem quando eu testei.
Se você tiver extensões de VT em sua CPU e elas estiverem ativadas na BIOS, não será realmente mais lento do que executá-las em uma caixa física do Windows. VS 20xx sempre foi um pouco de cachorro nas máquinas que eu usei.
Se você não tiver extensões de VT, será um pouco mais lento, especialmente o tempo de lançamento, e alguns menus contextuais podem ficar um pouco atrasados, mas é bastante útil.