Eu não tenho uma recomendação de ferramenta específica para o que você quer, mas pelo menos como um quick-and-dirty você provavelmente pode remendar algo junto com um par de ferramentas Sysinternals. Você pode ser capaz de executar isso de forma não interativa (programada), mas definitivamente não seria um serviço.
- Use o Procdump para monitorar o uso de processos da CPU com o nome do processo apropriado (com base no executável). Quando um processo atingir os níveis configurados, gere um dump. Possivelmente inicie isso a partir de um arquivo .cmd em loop com uma leve espera, para que cada instância do procdump só despeje uma única vez, ou possivelmente use a opção -n para especificar um grande número de dumps antes de sair.
- Monitore seu diretório de saída de despejo para novos arquivos. Analise os PIDs conforme necessário e, em seguida, mate os arquivos ou não - não parece que você depure e conserte o aplicativo.
- Use o PsKill para eliminar o processo relevante.
Como com qualquer coisa reunida, isso pode ou não funcionar bem ou ser estável a longo prazo, mas se a opção preferida (corrigir o aplicativo problemático) não for viável, você será reduzido para a segunda sequência de qualquer maneira.
As ferramentas da Sysinternals estão agora disponíveis na Microsoft em link