Em geral, quando eu desconecto uma unidade flash, ela solicita para esvaziar a lixeira. Esses arquivos provavelmente estão "movidos" para a lixeira recyle (para um diretório chamado .Trash).
Um método para não usar o Lixo é deletar com shift + delete (e também é uma maneira fácil de verificar se este é o caso).