Sim, e graças a Deus por isso, se você já move a mídia de um sistema para outro. As permissões do sistema de arquivos são projetadas para pertencer apenas a um sistema específico (um único PC, um domínio do Windows, etc.). mas se esse sistema não estiver disponível, o mesmo acontecerá com os dados.
se o Windows não usasse GIDs globais, você teria que apropriar-se manualmente e alterar as permissões em cada arquivo que desejasse acessar, toda vez que você movê-los de um sistema para outro e por que mais alguém carregaria um pendrive?
Lembre-se, com discos, o ditado antigo dos administradores de sistema; Acesso Físico == Acesso Root. Período.
se uma pessoa tiver um disco, o único meio possível para impedi-la de exercer controle total sobre os dados é por meio de criptografia. Tudo o mais pode ser facilmente contornado. Mesmo que você tenha bloqueado seus arquivos para o seu administrador, eu, possuindo seu disco, poderia facilmente assumir a propriedade dos objetos e me fornecer quaisquer privilégios que eu precisasse.