Eu localizei qual era o problema aqui - escreva o cache.
My Computer > Manage > Device Manager
Disk Drives > [My USB device name] > Properties
Se você selecionar a guia "Políticas", terá duas opções: "Otimizar para remoção rápida" e "Otimizar para desempenho".
Se eu tiver "Otimizar para desempenho" selecionado, recebo uma tela azul ao remover o dispositivo.