Quando o usuário seleciona "Remover unidade com segurança", a partição da mídia (nesse caso, a memória flash USB) é "desmontada" assim que a unidade termina sua (s) operação (ões) atual (is).
Então, é seguro continuar e remover fisicamente o pendrive, porque a unidade está "desligada".
Se você não "ejetar" a mídia, ou seja, se ainda estiver montada (ou seja, vinculada a um diretório, normalmente em / media) e removê-la, poderá corromper os arquivos no pendrive, mesmo que você acho que o sistema não está lendo / escrevendo nada na própria unidade. Então, meu conselho é sempre expulsá-lo.
Esta é apenas uma resposta rápida, você também pode verificar este artigo: link