Estou usando o VS 2010 desde que estamos desenvolvendo um aplicativo no .Net 4 e o desempenho está me deixando louco. É mais ruim quando eu não vejo o IDE por um tempo (como quando eu me afastei para uma ligação ao help desk ou entrei de manhã).
Eu sei que provavelmente é construído no WPF que descarrega seus recursos quando não é usado, mas o atraso de alguns minutos enquanto ele carrega tudo de volta é realmente irritante. Também notei alguns atrasos significativos ao abrir arquivos ou compilar.
Eu experimentei esse problema com VS2008 também esp em máquinas virtuais.
Acredito que possa estar relacionado a outros serviços que estão fazendo uso do sistema enquanto estão em um estado não interativo. Por exemplo, verificações de vírus e backups remotos. Pode não ser apenas o sistema VS, mas algum outro sistema que está monopolizando a máquina.
Correndo o risco de parecer óbvio, sugiro que você obtenha um hardware melhor. No mínimo, eu iria para:
Além disso, como o outro postador mencionado, verifique se nada está interferindo nos arquivos do seu projeto.