Você pode ter servidores executando o servidor 2008 e no mesmo cluster NLB. Na verdade, a maneira recomendada de atualizar os servidores em um cluster NLB é remover serialmente cada um do cluster, atualizá-lo e adicioná-lo novamente ao cluster.
Dito isto, se a sua aplicação funcionar bem no servidor 2012 para fazer isso, você deve considerar atualizar o outro servidor para 2012 também para manutenção e atualização geral (existem alguns avanços significativos na mitigação de exploração sob o capô em servidor 2012).