As desvantagens são que quanto menos memória RAM você tiver, mais você irá paginar para e do disco, especialmente se o servidor tiver aplicativos como o SQL nele.
Funciona bem com 2 GB. Eu tenho servidores em servidores 2008 R2 em produção que têm 2 GB de RAM neles. Eles funcionam muito bem, mas não fazem muito.
Desativado em uma tangente, uma MV 2008 R2 relativamente inativa usando a memória dinâmica do Hyper-V fica em torno de 400 MB.