A estrutura .NET tem um pequeno atraso na primeira vez em que a estrutura é carregada na memória, mas nada da escala de que você fala. Você está executando com um depurador?
Como alternativa, você pode ver se os assemblies .NET assinados estão tentando obter crl.microsoft.com , o que pode introduzir um atraso dependendo das condições da rede. Use Process Monitor para isso.
Na verdade, o Process Monitor identificará para você, passo a passo, o que está acontecendo quando você executa algo e pode diminuir o problema muito mais facilmente do que adivinhar.