As permissões do sistema de arquivos são impostas pelo kernel do software e não pelo hardware, e obviamente só funcionará se o software conhecer os usuários aos quais o sistema de arquivos faz referência. Este não é o caso quando o Linux acessa a unidade: não tem conhecimento do banco de dados de usuários do Windows. Portanto, ele não pode impor permissões de acesso e escolhe apenas conceder todos os direitos possíveis a todos.
Esta é de fato uma falha no sistema de arquivos, e o ext4 também sofrerá com isso se você montá-lo em um sistema não relacionado permissivo. Nenhum sistema de arquivos pode prevalecer a partir disso, exceto se eles estiverem criptografados.
Se você realmente não quiser que as pessoas acessem seus arquivos, será necessário usar a criptografia. Se você não quiser usá-lo, você está ferrado e não há nada para fazer.