Eu não vou aceitar esta resposta porque sou eu, mas aqui está a solução para o caso de alguém ter problemas semelhantes.
Parece que o principal fator foi o CrashPlan. Se você estiver executando um serviço de backup, poderá ver os arquivos de download como algo que precisa de backup. Isso pode bloquear o arquivo e torná-lo inacessível. Eu pareço lembrar que a Mozy não tem esse problema, mas eu não vou voltar para eles. Resolvi isso isolando meus downloads em uma pasta especial e excluindo essa pasta do meu backup.
Parece o Avast! A verificação de vírus também estava contribuindo para um desempenho lento. Em uma cotovia, eu temporariamente desativado e enquanto a velocidade de download não mudou o aplicativo de download ficou muito mais ágil e confiável. O Microsoft Security Essentials não parece estar atrapalhando como o Avast! fez.