Você instalou o service pack 1? Esse problema acontece comigo também, mas não com frequência, então não sei como resolvê-lo corretamente. É pior quando eu uso o depurador remoto.
Tenho notado que as listas no relógio causam mais problemas. Eu costumo depurar usando pontos de rastreio para imprimir o valor de variáveis em vez de pontos de interrupção quando preciso visualizar variáveis. É devido à natureza do meu aplicativo que sofre tempo limite se eu quebrar.
Eu tenho o visual studio 2005 instalado no meu computador e também recebo esse problema, mas é incrivelmente raro no Visual Studio 2005.