Então, depois de muita experimentação, encontrei uma solução parcial. Parece que se você tiver o mouse ou o teclado (ou provavelmente qualquer dispositivo USB) configurado como "Permitir que este dispositivo acorde o computador", o computador será ativado quando uma unidade USB for removida. Então a solução é desativar o 'Permitir que este dispositivo acorde o computador' para tudo.
Meio irritante, porque é bom poder acordar o computador apenas batendo na barra de espaço. Se alguém tiver uma solução melhor, adicione-a e alterarei a resposta aceita.