Parece que esse é um recurso de segurança, então não sei se ele pode ser ignorado:
The driver encrypts each block it writes using Advanced Encryption Standard (AES) encryption with a randomly generated per-boot session key in order to guarantee the privacy of the data in the cache if the device is removed from the system.
Infelizmente, não consigo pensar em como acelerar o processo de reconstrução ou evitá-lo (além de aumentar a quantidade de RAM que tornaria o ReadyBoost desnecessário).
Atualização: resumirei os comentários abaixo.
SuperFetch, ReadyDrive e ReadyBoost são tecnologias que funcionam juntas.
SuperFetch monitora quais arquivos estão sendo usados pelo usuário e pelo sistema e aprende o que é muito usado e tenta prever que pode ser chamado no futuro. Então, isso pode ser pré-carregado antes de ser realmente chamado.
O ReadyDrive tenta prever quais páginas da memória o Windows precisa colocar em hibernação, assim, quando o Windows for ativado, o Windows voltará do modo de hibernação mais rápido. Os dados que o Windows precisará podem ser armazenados em uma unidade ReadyBoost interna não removível instalada pelo OEM. O ReadyDrive precisa dessas unidades internas porque o Windows pode confiar que nada aconteceu durante uma sessão de hibernação. Durante um desligamento, até mesmo essas unidades não são confiáveis.
ReadyBoost armazena o disco rígido em cache no nível do setor. Não se preocupa com sistemas de arquivos porque só sabe onde estavam os dados do disco. SuperFetch pode determinar que um arquivo é usado com freqüência, então ele armazenará esses dados em um cache do ReadyBoost. Há um cache ReadyBoost no disco rígido que eu suponho que está lá (em vez de lê-lo do disco em outro lugar) porque os discos rígidos têm bom desempenho de leitura seqüencial (significando leitura setor após setor após setor, em vez de precisar alterar faixas e lidar com procurar tempos e latência rotacional). O objetivo de usar um dispositivo flash ReadyBoost é bater o disco em desempenho. Dessa forma, esses setores do disco rígido armazenados em cache usando o ReadyBoost podem ser recuperados mais rapidamente, aumentando o desempenho do computador. Para unidades ReadyBoost removíveis, o conteúdo da unidade não pode ser confiável por meio de um evento de espera, hibernação ou desligamento porque o conteúdo do cache do disco rígido ou do ReadyBoost pode ter sido alterado desde que o Windows fez esse cache. Para evitar que dados incorretos sejam usados, o Windows irá despejar o cache antigo do ReadyBoost e iniciar um novo cache. Durante esse tempo, o desempenho seria menor porque o cache não se aqueceu com os dados do setor atual.
Fonte: Aqui é um bom vídeo falando sobre essas tecnologias e como elas se inter-relacionam. Algumas partes interessantes são cerca de 16m30s-19m & 34m45s-38m40s, no entanto, todo o vídeo pode valer a pena ver.