Minha regra é simples - virtualizo tudo, exceto quando o hipervisor entra em meu caminho.
Mesmo se eu colocar apenas uma VM em uma caixa, pelo menos eu tenho o hardware abstraído que é útil quando você precisa de tempo de atividade alto (em tempo real para outra máquina), em caso de desastres para a mesma máquina) e tempo de vida (atualizações não lidam com drivers de baixo nível, posso apenas mover a máquina para um novo hardware).
Existem exceções - que são sistemas sensíveis ao tempo. A coleta de dados e a tomada de decisões no espaço de sub-milissegundos não são realmente utilizáveis em VMs, portanto, certas atividades estão desativadas. Note que esses não são VOIP, etc. - VOIP é basicamente ok com latência. Não muito quando você começa a lidar com dados do mercado financeiro e comércio, no entanto.
Atualização:
Há um outro caso óbvio em que você não pode virtualizar - ou seja, quando seu hardware é muito poderoso. No momento, usando o hyper-V, por exemplo, uma máquina que precisa de mais de 4 núcleos não pode ser virtualizada, pois uma VM suporta apenas 4 núcleos. Decisão simples. A próxima geração do hyper-V vai para 32 procesors virtuais, mas quando a AMD sai com 20 CPUs do núcleo e você tem duas delas ... acima do limite novamente. Isso é principalmente relevante para servidores mais poderosos, concordou.