O desempenho seria minha principal preocupação; mesmo que você forneça à VM acesso "direto" aos discos físicos, ainda haverá sobrecarga relacionada à VM, e se houver alguma carga decente, você terá problemas em uma VM mais cedo do que em um físico máquina. Mas, faça o benchmark, pode funcionar bem para sua carga de trabalho.
(Para o registro, eu definitivamente me inclinaria para a "má idéia", embora eu reserve "péssimo" para coisas muito, muito piores do que isso).