Você pode tentar criptografar sua unidade usb no nível do sistema de arquivos. Dê uma olhada no Wiki de Ajuda da Comunidade Ubuntu EncryptedFilesystemHowto . Explica de uma maneira bastante detalhada os passos que você deve seguir, além de alguns exemplos.