Preste atenção ao seu servidor IO. Meu instinto instantâneo é que você provavelmente está atrelando os discos. Se o seu sistema de armazenamento estiver sobrecarregado, você não poderá responder às solicitações de maneira oportuna.
Pessoalmente, gosto de usar as ferramentas SysInternals para medir a atividade em sistemas Windows. procexp.exe
é uma visão prática da atividade do sistema e do processo.