É difícil dizer sem alguns testes. Acho difícil acreditar que o ReadyBoost esteja causando o problema. Minha intuição é que há algo errado com a unidade ou com o controlador USB.
Uma das vantagens do ReadyBoost é que ele usa o SuperFetch para prever qual arquivo você irá ler em seguida e gravá-lo no cache do ReadyBoost. Se o cache estiver ocupado ou o arquivo não estiver no cache, o sistema lê o arquivo da unidade normalmente. O ReadyBoost só pode ajudar o seu sistema, mesmo que o aumento no desempenho seja tão mínimo que você não o veja.
Eu examinaria o disco em busca de erros usando o Scandisk. Aposto que você encontrará setores defeituosos.