É importante entender que essas permissões são aplicadas apenas quando a versão do ubuntu no pen drive está sendo executada. Se eu conectasse este pen drive a outro computador, seria capaz de ler qualquer dado no pen drive, independentemente das permissões definidas no sistema de arquivos.
Se alguém tiver acesso físico ao pen drive, somente a criptografia do conteúdo lhe dará proteção. (Observe que isso também se aplica a um computador desktop - se alguém tiver acesso físico, ele poderá remover o disco rígido e examinar todo o seu conteúdo em outra máquina ou inicializar a partir de seu próprio dispositivo USB - o sistema operacional só impõe permissões em arquivos quando está em execução).
Você pode querer ver uma ferramenta de criptografia entre plataformas, como TrueCrypt , para armazenar seus dados.