Eu costumava ter uma configuração semelhante e funcionava muito bem. Eu teria vários estúdios de gerenciamento e janelas do Visual Studio abertas por dias a fio com apenas 2 GB de RAM no Windows XP. As diferenças que vejo aqui são que eu raramente usava o Office (embora o Outlook estivesse sempre rodando), e que nosso departamento de TI na época realmente queria que nós desligássemos nossos computadores todas as noites (embora eu raramente concordasse; eles tiveram sorte quando eu nos finais de semana). A outra diferença é que usamos a segurança do cliente do Forefront vs TrendMicro (e, btw: a idéia de que você não pode ter vírus apenas porque verifica todas as noites é risível).
Eu acho que o mais provável culpado aqui são extensões de estúdio visual (nós realmente não usamos nenhum lá, além de um plug-in de controle de origem).