(disclaimer: Eu trabalho no Gigaspaces, desenvolvendo o Cloudify.)
IMO, ele realmente depende das suas necessidades e da natureza privada / pública da sua solução de IaaS. O IaaS pode lhe dar acesso ao hardware sem ter que comprá-lo, e certamente lhe dará elasticidade. No entanto, se você tiver requisitos de ambiente previstos e fixos, a IaaS poderá ser um exagero.
Outra questão é a natureza da sua manutenção de TI. IaaS poderia levar sua equipe de TI a um passo de lidar fisicamente com hardware, o que é uma vantagem se você está gastando muito tempo ou dinheiro nisso. Observe que, se você estiver implementando uma solução privada ("interna") de IaaS, poderá criar desafios adicionais de TI para sua equipe.
O IaaS é sempre outro "intermediário" que gerencia seu negócio, o que significa que você tem menos controle e, às vezes, menos segurança se for uma solução remota.
Outra consideração é a estabilidade - o IaaS depende de VMs, que não são tão estáveis quanto as máquinas físicas.
Cloudify oferece suporte a ambas as opções, e nossa solução PaaS on-hardware é chamada de BYON ( "Traga seu próprio nó"). Pode ser o que você está procurando ou apenas um ambiente temporário antes de ir IaaS, é a sua chamada.