Você de fato atingiu uma das limitações clássicas do NLB. Um cluster do Windows NLB só é capaz de verificar se o próprio nó está disponível e não pode verificar se o aplicativo real ainda está ativo e em execução. Em última análise, o que você precisa é de algum tipo de exame de integridade do aplicativo que pode ser feito com um balanceador de carga físico ou talvez um balanceador de carga de software, como o Microsoft Application Request Routing (ARR) .
Outra alternativa que é relativamente nova é um balanceador de carga baseado em nuvem, como a oferta da Rackspace . Isso oferece a você o benefício de ter muitos dos recursos de um balanceador de carga físico sem o custo de implementar hardware físico.
Espero que ajude.
Editar: Existe uma maneira de o NLB executar verificações de integridade, no entanto, ele ainda requer o que equivale a um terceiro servidor. O System Center Operations Manager possui um pacote de gerenciamento que pode monitorar aplicativos. Detalhes sobre isso podem ser encontrados aqui . Se você estiver indo para o problema de adicionar algo como isso, você também pode olhar para os benefícios de um balanceador de carga real que pode executar as verificações de integridade necessárias.