Se você me perguntar, é uma questão de escopo. Se você está fazendo IaaS tradicional, como @ user222032 já mencionado, o cloudstack será seu amigo. Como o uso da virtualização está no escopo "computar", você pode fazer tudo o que puder com um hardware de computador.
Além disso, ao usar o mesos, você está restrito ao que pode ser executado no sistema operacional (por exemplo, mesos), por exemplo, aplicativos - até contêineres de estivadores - dentro de estruturas suportadas. Mas lembre-se de que você não é tão "livre" quanto você está em hardware puro.
Por exemplo: fornecer área de trabalho como um serviço com mesos? Se o SSH é o suficiente para você, é possível. Mas não é o escopo dos mesos (o que significa que você acabaria fazendo mais configurações em vez de menos). Fornecendo uma área de trabalho do Windows? Área de trabalho do OSX? De jeito nenhum.
Então, para mim, a verdadeira questão é sobre o que você quer fazer com isso. É provável que o caso de uso do Google, do Facebook ou do Twitter não seja seu. Assim, a maneira como o Google vai rodar seu datacenter - apesar de fascinante - na maioria dos casos seria o mal para o seu caso de uso (exceto que você é algum tipo de provedor de e-service). Como mesos é uma cópia do "borg" do Google, provavelmente não é o que você precisa se estiver fazendo IaaS.
No entanto, se você quiser fazer PaaS ou mesmo software como um serviço, em especial processamento de big data e execução de aplicativos e bancos de dados linux, os mesos podem ser exatamente o que você precisa. Fazendo big data? Então mesos é provavelmente certo para você (deixe-me esclarecer: eu estou falando sobre BI real, não as coisas que eles vendem para você como BI. Executar o Hadoop ou qualquer mapa reduzir banco de dados não significa que você está fazendo big data. significa que você instalou hadoop com sucesso - não mais, nem menos).
lembre-se de que, mesmo sendo possível rodar mesos em um monte de VMs - então você teria um datacenter capaz de fazer tudo, você perderia os benefícios que empresas como o google têm procurado desenvolvendo coisas como borg (= > mesos).
Há alguns anos, o mundo era bonito - basta executar tudo em um cluster VM grande. Você só tinha que escolher qual deles: ESXi, HyperV, KVM. Hoje em dia parece ficar mais complicado de novo: vm ou container? cluster ou "simulado" -big-single-machine (mesos)? E, como você vê, ambos têm seu caso de uso. Então, hoje você tem que decidir e, eventualmente, terá que executar ambas as tecnologias muito diferentes, a fim de poder fazer todas as coisas, o que é uma droga.
Desde que "é uma droga" sempre foi o maior impulsionador para o desenvolvimento de novas coisas, eu já saí completamente como as duas tecnologias vão se fundir nos próximos anos. Mas acho que vai demorar muito mais até que finalmente chegue ao "mercado corporativo". Olhando para coisas como simplicidade e evorail que atualmente são a "merda quente" no mercado e ainda cerca de 3 anos atrás, quando se trata de idéias como o datacenter moderno deve funcionar.
Afinal de contas: não estou culpando o mercado corporativo por isso, são os clientes que não querem investir em pensar e falar. Em vez disso, pague alguém para lhe dar ALGUMA solução "final" e pagar pela solução para que você esteja "ok" nos próximos anos. Eu acho que é por isso que coisas como mesos estão acontecendo apenas em startups e no vale do sillicon. Em outros lugares, o hardware é barato e as pessoas + tempo são caras.