Independência de hardware é exatamente o jeito certo de vê-lo - separar os serviços dos quais você depende do hardware é um grande benefício que a virtualização oferece.
Sua pergunta sobre portabilidade e desempenho de IO não está totalmente clara, mas acho que posso ver em que você está chegando.
Praticamente todos os hypervisors, certamente todos os principais (VMware, Microsoft, Xen, KVM) permitem desligar uma VM e movê-la para um armazenamento diferente ou para um host completamente diferente sem qualquer problema, seu único problema será estar lidando com o fato de que você geralmente copia uma grande quantidade de dados. A maioria dos fornecedores tem vários Hypervisors e, em geral, é bastante simples mover uma VM de (digamos) VMware Workstation para VMware Server para VMware ESX. Mover-se entre os fornecedores de hipervisor é um pouco mais difícil e envolverá alguma conversão, mas novamente todos os principais fornecedores suportam isso em algum grau. Em geral, desde que uma VM esteja desligada, ela pode ser movida sem mais problemas do que copiar um arquivo grande.
Mover VMs com mínimo (ou nenhum) tempo de inatividade é muito mais difícil, mas todos os principais fornecedores fornecem alguma versão disso agora. Com VMware é chamado de VMotion, Microsoft chama de migração ao vivo, Citrix (Xen) chamá-lo de XenMotion ou Live Motion. Todos eles exigem armazenamento compartilhado (SAN ou NAS) e impõem restrições bastante rígidas à variedade de hardware que você pode ter em seu cluster, mas permitem que você mova uma VM em execução de um host para um diferente em um cluster gerenciado com perto de zero (milissegundos \ sub-milissegundos intervalo) interrupção nos serviços. Esse é um recurso altamente desejável e tende a exigir licenças caras, como Bart Silverstrim apontou em sua resposta, mas o HyperV 2008 R2 Server da Microsoft permite que você construa um cluster usando apenas componentes gratuitos (como na cerveja) que sejam bastante interessantes como do Citrix . As licenças mais baratas da VMware que suportam isso custam cerca de US $ 2k por CPU, se bem me lembro, mas você não pode realmente argumentar com o ponto de preço da Citrix ou da Microsoft se quiser construir algo pequeno. O VMware é indiscutivelmente o melhor do grupo, mas você tem que pagar bastante para obter tudo a partir dele, o Xen é mais maduro que o Hyper-V, mas a Microsoft fez um enorme progresso nos últimos 18-24 meses, portanto não deve ser descontado. A migração Vmotion \ Live não tem grande impacto no desempenho do disco IO.
Uma variação do VMotion \ Live Migration envolve deixar a VM em execução no mesmo host, mas move o local de armazenamento subjacente sem desativar a VM. Esta é uma opção de licenciamento ainda mais cara da VMware (eles chamam isso de Storage VMotion), a Microsoft tem uma "Quick Storage Migration" que é semelhante, mas não totalmente perfeita, tanto quanto eu sei. Observe que o processo de cópia ainda leva muito tempo e terá um impacto, possivelmente significativo, no desempenho geral do armazenamento enquanto a migração ocorre.
Em termos de desempenho do disco rígido da VM, você deve ter algumas coisas em mente. Os hipervisores são todos muito bons - você deve esperar ver 80% + de desempenho nativo, mesmo sob condições extremas e, na maior parte, a menos que você tenha padrões de IO de armazenamento muito estranhos, você pode seguramente assumir 95% ou mais. Basicamente, uma implementação bem planejada com um bom subsistema de armazenamento deve ser difícil de distinguir de uma solução nativa. Você precisa saber quanto desempenho suas VMs precisarão e, em seguida, é necessário fornecer isso, além de qualquer desempenho adicional que você precise fornecer algo extra (como a capacidade de migração de falhas / Live Migration etc). Como com qualquer outra coisa (CPU, memória, largura de banda de rede) se você não fornecer capacidade de armazenamento suficiente (largura de banda sequencial, espaço, IOPS), sua solução terá um desempenho ruim. A melhor maneira de abordar o planejamento para isso é ter uma boa ideia das características totais de armazenamento necessárias (novamente GB de espaço utilizável, pico total de IOPS, largura de banda de pico) para adicionar o que você precisa para um crescimento iminente e garantir que a solução de armazenamento que você coloca em prática pode fornecer isso.
Como regra geral, ambientes de hospedagem VM gastam dinheiro em memória, certifique-se de ter potência de CPU suficiente e armazenamento (pelo menos até obtermos um armazenamento SSD barato) comprar um bom controlador RAID \ SAN \ NAS e tentar comprar como muitos discos como você pode - 2 TB de armazenamento que vem de discos 8x250GB superará substancialmente discos 2x1TB todas as outras coisas sendo iguais.