Eu tive alguns problemas aleatórios como este com meu servidor 3.5. Uma chamada para apoiar corrigiu este problema.
Pelo que me lembro, aumente a quantidade de memória que o console de serviço pode usar. Max. Eu acho que a configuração máxima é de 800 Megs ou algo assim. Há também algo que eles podem desativar no servidor da web. Desculpe, não me lembro de mais detalhes do que isso.