Uma coisa a fazer é adicionar mais memória à sua máquina. Não há opções de ajuste para o VS Dev Server.
Você também pode usar o IIS localmente ou um servidor web diferente para a sua depuração. Isso pode ser definido nas propriedades do seu projeto. Vá para a guia Web nas propriedades do seu projeto e altere as opções em Servidores. Você provavelmente terá algum trabalho a fazer no servidor da Web para que a depuração seja conectada corretamente.
Veja um bom artigo sobre servidores da web que você pode usar com o Visual Studio (assumindo o VS2010 / .NET 4)