Você tentou anexar um criador de perfil a ele e ver o que está acontecendo? Você sabe, a coisa "Análise profissional"? O VS 2012 possui um profiler remoto que pode ser instalado e ativado em um servidor para coletar informações.
QUALQUER OUTRA COISA É um desejo cego tentando descobrir o que está errado. A criação de perfis é a única maneira eficiente e deve ser utilizada regularmente.
CHeck:
em seguida, até "Remote Tools for Visual Studio 2012", que também permite a criação remota de perfis.