Eu não posso dizer o que há de errado com isso, porque do jeito que você faz ... eu faria do mesmo jeito. Eu estive procurando na web e achei isso para você. Não é da mesma maneira que você faz, então talvez possa ser útil para você:
Click on the Safely Remove Hardware notification area icon, and click on the Eject drive option for the listed drive that you want to eject.
When you see this notification message below ["Safe to Remove Hardware"], you can now safely remove the device from the computer.